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多 源 异 构 数 据 资源 的 集成 和 融合 为 管理 决策 提供 更 加 完整 和 可 靠 的 数 
据 服 务 ,是 当前 及 未 来 深化 信息 系统 建设 的 重要 课题 和 研究 方向 。 从 各 种 
分 布 . 异 构 数 据 源 中 抽取 数据 ,并 进行 数据 变换 、 合 并 和 融合 ,是 数据 集成 和 
数据 融合 的 一 项 最 基本 的 任务 。 

无 论 是 数据 集成 中 的 大 数据 处 理 , 还 是 知识 库 中 知识 的 管理 ,都 需要 以 
高 效 的 计算 能 力 为 基础 。 云 计算 作为 一 个 新 型 的 面向 服务 的 计算 模式 , 具 
有 资源 高 扩展 、 强 大 的 计算 和 存储 能 力 等 特点 。 云 计算 平台 可 将 资源 虚拟 
化 ,并 进行 有 效 且 动 态 的 资源 划分 以 及 分 配 。 正 是 由 于 它 快速 灵活 的 特性 ， 
使 得 企业 在 信息 化 过 程 中 的 成 本 大 大 降低 。 为 此 ,本 文 基于 云 计算 的 IaaS、 
PaaS 以 及 SaaS 的 三 层 基 础 框架 的 思想 来 构建 和 部 署 信息 融合 系统 。 

物 联网 作为 未 来 互联 网 的 一 个 重要 组 成 部 分 , 它 的 任务 是 实现 万 事 万 
物 的 广泛 互联 和 感知 , 即 普 适 性 。 由 于 普 适 性 特征 ,使 得 物 联网 数据 具有 以 
下 特点 : 海量 性 。 由 于 物 联网 是 以 时 间 为 特征 的 数据 流 的 方式 传递 手机 
数据 信息 , 随 着 时 间 的 推移 ,数据 流 以 指数 形式 增长 。 回 异 构 性 。 由 于 物 联 
网 多 种 类 型 感知 设备 的 互联 与 信息 交换 ,使 得 物 联网 内 大 量 异 构 数据 存在 。 
@ 实 时 性 。 由 于 物 联网 是 以 时 间 为 特征 对 客观 事物 及 其 变化 进行 观测 ,对 
数据 有 时 间 维 度 要 求 。@ 分 布 式 。 物 联网 中 ,各 级 感知 设备 对 其 相应 的 数 
据 中 心 进行 数据 存储 和 维护 管理 。 

信息 融合 是 实现 完整 的 、 准 确 的 、 实 时 的 和 有 效 的 综合 信息 处 理 的 策略 
和 方法 。 面 向 云 平台 的 物 联 网 多 源 异 构 信 息 融 合 是 一 个 包含 理论 .方法 和 
算法 的 完整 框架 ,对 多 感知 设备 和 相关 知识 信息 进行 合并 与 挖掘 ,综合 分 析 
与 推理 抽象 ,从 而 能 够 得 到 更 高 质量 的 信息 。 信 息 融 合 研究 集中 在 信息 融 
合体 系 结构 和 数据 集成 融合 算法 上 。 信 息 融 合体 系 结构 是 针对 数据 信息 特 


\ 
= 


/ 


向 云 平 台 的 物 联网 多 源 异 构 信 息 融 合 方法 


点 从 整体 上 定制 数据 信息 融合 的 流程 ,具有 全 局 指导 作用 。 数 据 集成 融合 
算法 是 在 保证 一 定数 据 质量 的 情况 下 ,基于 数据 模型 对 数据 的 化 简 、 融 合 、 
推理 和 计算 。 

本 书 在 以 下 三 个 方面 开展 相关 研究 

(1) 研究 了 在 云 计 算 环 境 下 ,基础 环境 的 构建 以 及 服务 的 部 署 ; 主要 研 
究 基于 Openstack Mitaka 的 公有 云 的 搭建 方案 。 所 搭建 的 公有 云 是 基于 实 
验 虚拟 出 的 一 种 公有 去 形式。 真正 的 公有 云 是 在 互联 网 环境 下 ,用 户 不 需 
要 任何 软件 ,直接 通过 网 络 、Web 浏览 器 获取 的 一 种 服务 。 

(2) 对 异 构 数 据 源 查询 、 集 成 及 融合 技术 进行 了 综合 研究 和 分 析 , 在 此 
基础 上 ,提出 了 基于 本 体 的 多 源 异 构 信 息 融 合体 系 结构 ,给 出 了 面向 云 计 算 
平台 的 多 源 异 构 信息 集成 及 数据 融合 架构 。 该 架构 是 对 适应 云 平台 特点 的 
信息 融合 过 程 的 全 局 性 的 诠释 ,具有 重要 的 指导 作用 。 把 多 源 信息 融合 整 
体 架 构 分 为 四 个 阶段 : 采集 原始 数据 .数据 抽象 .数据 集成 与 融合 、 特 征 抽 
象 。 详 细 闸 述 了 各 个 阶段 的 流程 及 所 起 到 的 作用 。 

(3) 研究 基于 MapReduce 数据 集成 及 数据 融合 总 体 架构 ,对 架构 中 的 
主要 几 个 模块 做 了 重点 分 析 。 针 对 元 数据 信息 存在 的 异 构 性 问题 提出 了 异 
构 冲 突 解 决 方法 ,并 将 该 方法 运用 到 建立 虚拟 数据 库 的 过 程 中 ,定义 了 用 户 
统一 信息 查询 的 元 数据 信息 虚拟 数据 库 及 面向 虚拟 数据 库 的 相似 结构 化 查 
询 语言 ; 分 析 了 系统 架构 中 解析 器 视图 分 析 及 任务 分 配 过 程 ; 分 析 了 执行 
器 模块 MapReduce 执行 过 程 , 管 理 过 程 及 连接 过 程 。 最 后 实现 了 数据 采集 
及 数据 融合 架构 的 原型 系统 ,并 对 部 分 实现 的 系统 结构 进行 了 测试 。 实 验 
结果 表明 ,该 架构 模型 能 够 在 较 短 的 时 间 内 处 理 多 数据 源 海 量 数 据 , 为 用 户 
请 求 提供 完整 信息 。 

本 专著 由 以 下 项 目 资助 : 
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项 目 ,项 目 编号 : 182102210224) 
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项 目 编号 : 17A520024) 

(4) 基于 城乡 规划 大 数据 的 多 规 融 合 技术 研究 (河南 省 教育 厅 项 目 , 项 
目 编号 : 18B520007) 

(5) 建筑 信息 云 服务 平台 下 的 大 数据 智能 处 理 研究 (平顶山 市 科技 局 项 
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1.1 研究 背景 


随 着 网 络 数据 的 急剧 增加 , 越 来 越 多 的 商业 和 科学 应 用 增加 了 对 分 布 
式 资源 的 访问 ,先后 出 现 了 集群 计算 、 网 络 计算 以 及 云 计 算 。 越 来 越 多 的 海 
量 信 息 处 理 在 分 布 式 计算 中 解决 。 面 向 云 计算 平台 的 多 源 异 构 信息 融合 系 
统 便 是 在 云 计算 和 信息 融合 快速 发 展 的 前 提 下 提出 的 ,以 下 从 云 计算 平台 
和 信息 融合 两 方面 来 曾 述 研究 背景 。 


1.1.1 云 计 算 平台 


云 计算 中 平台 作为 一 个 新 型 的 计算 平台 , 它 集中 了 分 布 式 计算 、 网 格 计 
算 .效用 计算 的 特点 ,通过 互联 网 将 大 规模 计算 和 存储 资源 整合 起 来 , 按 需 
提供 给 用 户 ,是 为 了 迎合 未 来 数据 的 不 断 增 长 的 需求 而 诞生 的 技术 。 云 计 
算 的 定义 是 利用 互联 网 来 获取 计算 资源 。 它 是 一 种 大 幅度 提高 信息 处 理 能 
力 的 一 种 方式 或 机 制 , 云 计算 的 术语 来 自 这 样 一 段 话 : 数据 不 是 存储 在 您 的 
桌面 或 设备 中 ,而 是 位 于 那 仿 佛 是 天 空中 云 一 样 的 地 方 , 尽 管 它 离 你 遥 不 可 
及 但 你 却 可 以 访问 它 , 无 论 你 在 哪里 都 可 以 使 用 计算 机 通过 互联 网 来 获取 
它 。 云 计算 是 改变 整个 IT 行业 的 技术 , 它 可 以 减少 硬件 的 成 本 ,可 以 避免 
造成 硬件 方面 的 浪费 。 对 于 那些 使 用 云 计算 的 人 来 说 ,这 是 一 种 随 需 应 变 
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的 实用 计算 形式 。 云 计算 通过 集成 不 同 种 类 的 数据 ,其 计算 存储 等 来 实现 
多 层次 虚拟 化 和 抽象 化 。 虚 拟 化 本 身 可 以 通过 封装 成 为 管理 程序 或 虚拟 机 
监视 器 的 软件 层 实现 。 事 实 上 , 它 通 过 “付费 使 用 ”的 概念 ,将 最 昂贵 的 软件 
带 到 普通 人 的 手中 ,发 控 了 极其 重要 的 作用 。 对 于 处 理 大 量 数据 问题 的 组 
织 有 所 帮助 以 及 降低 其 运营 成 本 ,这 是 一 个 好 的 现象 。 但 是 ,这 种 现象 并 不 
是 完美 的 一 一 云 在 安全 性 和 隐私 性 等 方面 存在 某 些 缺 点 。 事 实 上 , 云 计算 
已 被 评 为 Gartner 最 具 破 坏 性 技术 的 第 四 名 。 资 源 可 用 性 是 任何 云 计算 应 
用 程序 的 关键 ,“ 付 费 使 用 ”是 其 回报 。 

总 之 , 云 计 算 具 有 如 下 特点 ， 

(1) 超大 规模 。 云 具有 相当 的 规模 ,不 管 是 Google, Amazon 等 大 型 公 
司 拥有 的 大 数据 量 的 计算 机 ,还 是 云 计 算 的 提出 理念 , 云 都 是 与 大 规模 的 物 
理 计 算 节 点 为 基础 的 。 

(2) 虚拟 化 。 云 计算 支持 用 户 在 任何 地 方 、 使 用 多 种 终端 获取 应 用 服 
务 。 所 请 求 的 资源 来 自 于 云 ,不 是 固定 的 实体 。 应 用 也 是 在 云 中 运行 的 ,这 
对 于 用 户 来 说 是 完全 透明 的 。 

(3) 高 扩展 性 。 云 的 规模 可 以 动态 伸缩 ,以 满足 不 用 应 用 和 用 户 规 模 增 
加 的 需要 。 

(4) 按 需 服务 。 云 是 一 个 规模 庞大 的 资源 池 , 用 户 根据 需要 购买 ,并 按 
照 所 购买 的 服务 付费 。 

(5) 廉价 。 由 于 云 的 特殊 容错 措施 可 以 采用 廉价 的 节点 来 构成 云 ,同时 
云 的 集中 式 管 理 使 得 大 量 企 业 无 需 负 担 日 益 高 昂 的 数据 中 心 管理 成 本 ,而 
且 云 的 通用 性 使 得 资源 的 利用 率 大 幅 提升 ,因此 云 是 廉价 的 。 


1.1.2 多 源 数据 集成 


云 计算 环境 下 ,针对 各 种 不 同 的 应 用 产生 了 各 种 各 样 的 数据 源 , 如 结构 
化 的 关系 数据 库 和 面向 对 象 的 数据 源 、 半 结构 化 的 HTML (Hypertext 
Markup Language, 超 文本 标记 语言 )、 无 结构 文本 、 文 档 数 据 源 及 多 媒体 数 
据 等 。 这 些 数 据 源 结构 不 同 , 语 义 各 异 ,它们 之 间 可 能 存在 着 各 种 差异 和 冲 
突 。 从 数据 库 的 应 用 角度 来 看 ,网 络 上 的 每 一 个 站 点 也 是 一 个 数据 源 , 每 一 
个 站 点 的 信息 不 同 并 且 组 织 方式 不 一 样 ,它们 都 是 异 构 的 ,因此 构成 了 异 构 
数据 的 大 环境 。 从 数据 采集 的 角度 来 看 ,各 种 传 感 网 感知 的 数据 格式 没有 
统一 的 标准 ,导致 采集 的 数据 结构 不 同 ,语义 不 同 , 存 在 异 构 性 ,在 多 集成 环 


给 多 应 用 系统 之 间 数 据 的 采集 、 转 换 和 统一 处 理 带 来 了 很 多 问题 和 
SN 

多 源 异 构 采 集 及 融合 系统 的 目标 是 解决 这 些 冲突 并 把 这 些 异 构 数据 源 
最 终 转化 为 一 种 统一 的 全 局 数据 模式 ,以 供用 户 的 透明 访问 和 使 用 ,用 户 在 
对 数据 源 进 行 访问 时 ,仿佛 在 操作 一 个 数据 源 中 。 因 此 ,本 节 要 做 的 工作 是 
不 仅 要 为 感知 的 数据 定义 统一 的 数据 表示 格式 ,还 要 为 标准 的 数据 格式 提 
出 统一 的 数据 生成 及 解析 方法 ,具体 分 为 两 个 阶段 : 数据 集成 和 数据 融合 。 
数据 集成 侧重 于 数据 的 聚集 ,是 数据 处 理 的 初级 阶段 ,是 对 不 同 数 据 源 数 据 
的 集合 。 数 据 融 合 是 数据 集成 的 高 级 阶段 ,着 重 于 对 不 同 数 据 源 中 不 一 致 
的 数据 进行 分 析 处 理 , 融 合成 统一 的 知识 题 ,侧重 于 通过 数据 优化 组 合 导出 
更 多 有 效 的 信息 。 

总 之 , 随 着 信息 化 进程 的 发 展 ,人 们 需要 对 数据 进行 有 效 集成 并 对 有 效 
数据 进行 数据 挖掘 。 大 规模 的 数据 流 甚至 是 海量 数据 的 处 理 均 需 要 大 量 的 
计算 能 力 。 目 前 ,海量 数据 集成 存在 以 下 问题 3 。 

COD 封闭 性 。 大 部 分 的 企业 信息 化 都 是 部 门 内 部 使 用 ,都 是 以 封闭 的 状 
态 存在 ,缺乏 对 外 开放 的 接口 。 

(2) 信息 “孤岛 "。 由 于 企业 信息 化 以 部 门 为 单位 ,这 样 各 个 部 门 之 间 的 
数据 不 能 得 到 很 好 的 共享 ,因此 形成 了 一 个 个 彼此 分 离 的 信息 孤岛 。 

(3) 缺乏 规范 和 标准 。 企 业 信息 的 完成 没有 固定 的 标准 ,从 而 造成 了 数 
据 融合 和 分 析 的 难度 。 

(4) 海量 大 规模 。 数 据 的 急剧 增加 ,使 得 现 有 的 数据 管理 平台 无 法 支持 
大 数据 的 有 效 管理 和 存储 ,因此 数据 处 理 必然 需要 分 布 计算 的 帮助 


1.2 研究 意义 


云 计算 是 将 计算 资源 的 交付 作为 服务 的 最 新 术语 。 它 是 当前 的 效用 计 
算 的 迭代 ,并 返回 到 “出 租 ” 资 源 的 模型 。 云 计算 现在 已 经 被 收录 入 行业 词 
典 。 当 今 互 联网 上 的 云 计算 ,实际 上 是 部 署 在 互联 网 上 成 规模 的 分 布 式 系 
统 ,而 互联 网 上 的 大 部 分 云 服 务 都 是 由 一 小 部 分 云 提供 商 所 提供 的 。 因 此 ， 
云 计算 的 发 展 是 下 一 代 互 联网 发 展 的 内 在 本 质 。 

目前 存在 的 集成 异 构 数 据 的 方法 有 : 联邦 数据 集成 系统 、 数 据 仓 库 集 
成 系统 .中 间 件 模式 数据 集成 等 ,这 几 种 方式 存在 着 各 自 的 优 缺 点 ,同时 为 
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了 能 让 数据 集成 更 加 透明 .开放 ,还 集成 了 XML, Web Service 等 技术 。 随 
着 知识 管理 概念 的 提出 , 它 将 数据 信息、 知识 .智慧 进行 了 分 析 和 对 比 ,从 
而 识别 组 织 中 的 知识 资产 ,并 充分 发 挥 知识 资产 的 杠杆 作用 ,帮助 企业 获 
得 竞争 优势 。 为 此 ,本 书 在 已 有 数据 集成 方式 的 基础 上 ,加 上 了 知识 库 的 
概念 ,将 业务 逻辑 从 复杂 的 数据 中 抽象 出 来 ,更 有 利于 用 户 的 使 用 和 信息 
的 管理 。 

无 论 是 知识 管理 还 是 业务 集成 ,都 需要 从 大 量 、 复 杂 、 异 构 以 及 有 了 噪声 
的 数据 中 抽取 有 用 的 信息 ,这 需要 巨大 的 计算 能 力作 为 支撑 ,而 传统 的 单机 
服务 器 所 能 提供 的 计算 资源 不 能 满足 要 求 ,需要 借助 分 布 式 计算 技术 来 实 
现 。 云 计算 作为 分 布 式 计算 平台 , 它 将 硬件 服务 化 ,软件 服务 化 ,由 此 出 现 
了 不 同 的 云 计算 服务 用 户 , 形 成 了 新 型 的 软件 开发 生态 圈 。 云 计算 平台 不 
仅 是 商业 界 认可 的 高 性 能 计算 平台 ,而 且 是 面向 服务 的 计算 平台 , 它 使 得 中 
小 型 企业 能 快速 进行 系统 的 开发 和 部 署 ,高 效 地 完成 软件 实现 。 因 此 ,本 书 
以 多 源 异 构 信 息 融 合 系统 为 研究 对 象 , 讨 论 面向 云 计算 平台 的 数据 集成 、 存 
储 和 融合 ,以 及 服务 的 构建 和 系统 的 部 署 等 问题 。 


1.3 国内 外 研究 现状 


根据 相关 数据 显示 ,目前 的 云 存 储 数据 信息 已 占据 世界 上 约 20% 的 数 
据 资 源 , 能 够 把 抽象 数据 有 效 地 提供 给 客户 。 云 计算 被 正式 提出 以 来 ,其 发 
展 的 前 景 ,在 全 球 范围 内 一 直 处 于 良好 状态 ,为 国际 经 济 发 展 间接 提供 了 
.2 万 亿美 元 的 注资 。 世 界 上 的 云 处 理 器 规模 继续 增长 ,计算 模式 继续 改 
善 。 云 计算 将 是 世界 上 一 个 重要 的 发 展 项 目 。 云 的 安全 性 和 透明 度 为 更 多 
的 企业 和 个 人 提供 更 好 的 服务 ,满足 世界 上 的 大 多 数 人 当前 需求 的 服务 ,有 
利于 世界 经 济 的 稳定 发 展 。 

在 云 计算 排名 初期 ,中国 科 学 家 利用 互联 网 的 透明 资源 储备 技术 在 许 
多 方面 得 以 应 用 。 随 着 科学 技术 的 不 断 进步 , 云 计算 的 应 用 越 来 越 频 繁 ,为 
政府 建设 基于 云 计算 的 经 济 社会 保障 提供 了 软环境 ,建立 了 专门 部 门 和 国 
家 科学 研究 部 门 , 直接 负责 云 计算 和 发 展 活动 的 发 展 。 据 有 效 数据 显示 ， 
2011 年 我 国 为 云 计算 的 投资 金额 已 超过 2. 86 亿美 元 ,并 直接 推动 了 我 国 云 
计算 的 快速 发 展 。 通 过 以 上 数据 可 以 看 出 , 云 计算 为 人 们 的 生活 和 工作 提 
供 了 一 种 更 便捷 有 效 的 方式 ,符合 我 国 经 济 高 速 发 展 的 时 代 。 


目前 ,已 经 出 现 了 一 些 多 源 异 构 的 数据 集成 方法 。 早 在 20 世纪 70 年 代 
中 期 ,就 有 解决 多 数据 库 集成 问题 的 方法 , 那 时 主要 是 采用 全 局 模式 的 集成 
方法 。 此 后 Mcleod 等 人 提出 了 联邦 数据 库 系统 的 概念 ,但 由 于 缺乏 必要 的 
标准 ,联邦 数据 库 只 能 在 一 定 的 限制 条 件 下 实现 5 。 此 外 ,G. Wiederhold 
最 早 提出 了 基于 中 介 器 /包装 器 的 集成 方法 构架 ,这 种 构架 能 够 同时 集成 结 
构 化 数据 源 和 非 结 构 化 或 半 结 构 化 的 数据 源 中 。 除 了 上 述 的 方法 ,比较 典 
型 的 还 有 数据 仓库 。 该 方法 是 把 各 个 数据 源 复制 到 同一 处 ,这 样 用 户 可 以 
访问 数据 仓库 ,如 同 访问 一 般 数 据 库 一 样 。 但 由 于 数据 仓库 系统 昂贵 的 投 
资费 用 ,项 目 实 施 周期 长 项目 成 功率 低 等 原因 制约 了 数据 仓库 在 中 小 型 企 
业 或 数据 积累 少 的 企业 解决 异 构 数 据 源 整 合 和 集成 需求 的 应 用 中 。 

面向 云 计算 平台 中 存在 各 种 异 构 的 信息 系统 ,数据 集成 和 数据 融合 的 
研究 就 是 针对 分 布 在 异 构 数据 源 中 的 数据 进行 抽取 、 转 换 、 集 成 和 融合 , 建 
立 一 个 稳定 的 数据 处 理 环节 ,为 用 户 提供 统一 信息 存 取 接口 时 。 异 构 数 据 
源 之 间 的 数据 转换 方式 主要 有 : 

(1) 对 于 数据 采集 时 存在 的 数据 格式 标准 不 同 的 情况 ,可 以 定义 统一 格 
式 进行 异 构 数 据 源 数据 的 集成 。XML 是 现在 比较 流行 的 半 结 构 化 语言 。 
1998 年 W3C(World Wide Web Consortium, 万维网 联盟 ) 创 建 XML 后 , 因 
为 它 解决 了 在 不 同系 统 中 转换 和 表示 数据 的 问题 ,所 以 广 受 欢迎 中 。 

(2) 使 用 数据 库 中 间 件 解决 数据 库存 在 的 异 构 性 。 数 据 库 中 间 件 是 介 
于 访问 客户 端 与 服务 器 之 间 的 中 介 结 构 , 通 过 合理 构建 ,能 够 完成 异 构 数据 
源 的 相互 转换 ,可 以 通过 SQL 请 求 将 得 到 的 数据 转换 为 XML 文件 ,再 将 
XML 文件 的 数据 文件 转换 成 SQL 语言 文件 29 ,将 数据 导入 数据 库 的 方式 
解决 ,或 者 使 用 数据 库 系统 中 自 带 的 转换 工具 ,但 由 于 其 都 是 针对 各 个 数据 
库 紧 密 耦 合 的 软件 ,通用 性 不 高 。 

(3) 虚拟 数据 库 方式 。 该 方式 将 包含 在 各 个 数据 源 中 的 信息 描述 成 一 
个 全 局 的 视图 。 当 用 户 提出 一 种 请 求 语言 来 访问 系统 并 对 全 局 视图 进行 操 
作 时 ,请 求解 析 器 负责 将 该 请 求 语言 解析 成 对 应 各 本 地 数据 库 源 的 子 请 求 ， 
并 将 这 些 子 请 求 转换 成 本 地 数据 源 能 够 执行 的 格式 ,在 对 应 的 数据 源 中 执 
行 请 求 , 最 后 融合 子 请 求 结果 并 处 理 请 求 结果 中 可 能 出 现 的 冲突 和 不 一 致 
性 ,将 结果 转换 成 用 户 需 求 的 格式 并 传输 给 用 户 。 

(4) 物化 视图 方法 。 物 化 视图 是 缓存 的 结果 集 . 它 被 存储 为 具体 表 , 对 
查询 能 够 做 出 更 快 的 响应 ,因为 它们 不 要 求 每 次 都 用 资源 动态 构建 视图 5 ， 
在 信息 集成 查询 系统 中 ,它们 将 对 应 请 求 的 查询 视图 计算 后 直接 物理 存储 ， 


\ 
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以 空间 换取 时 间 ,大 大 缩短 了 查询 时 间 。 

近年 来 ,数据 集成 及 数据 融合 在 许多 商业 应 用 及 科学 研究 中 都 变 得 非 
常 重要 。 其 集成 了 网 络 上 多 数据 库 及 异 构 数据 源 ,为 用 户 提 供 异 构 数 据 源 
的 统一 查询 视图 ,对 数据 集成 的 方案 在 电子 商务 中 基于 XML 的 数据 库 中 
间 件 异 构 数 据 库 数 据 转换 方法 22 ,实现 了 由 关系 数据 到 XML 数据 的 转换 
和 集成 。 主 要 从 事 该 课题 研究 的 国防 科技 大 学 及 中 国 科学 技术 大 学 近年 
来 不 断 涌 现 出 针对 该 课题 的 新 成 果 ,前 几 年 集中 于 多 种 分 布 式 数据 库 及 元 
数据 的 研究 , 近 几 年 集中 于 异 构 数 据 源 的 基础 ,提出 了 物化 视图 查询 及 整 
合 技 术 , 基 于 元 数据 的 分 布 式 数 据 集成 ,数据 仓库 中 的 物化 视图 ,基于 本 体 
异 构 数据 源 集 成 ,多 知识 融合 异 构 数 据 源 集成 中 等 方法 。 这 些 方 法 都 是 
针对 数据 源 存 在 的 异 构 问 题 ,并 没有 结合 云 计算 平台 下 分 布 式 数 据 的 

总 之 ,该 课题 研究 已 经 成 为 信息 融合 部 分 的 研究 热点 ,国内 外 相关 技术 
层出不穷 ,但 还 未 形成 一 个 处 理 云 计算 平 台 的 数据 信息 的 统一 平台 ,我 们 要 
在 结合 国内 外 先进 技术 方案 的 基础 上 ,进行 创新 ,实现 一 种 适合 云 计算 平台 
的 异 构 数 据 集成 及 数据 融合 方案 ,从 而 建立 一 个 稳定 的 信息 处 理 环节 ,同时 
方便 云 计 算 平台 更 多 业务 应 用 的 扩展 。 


1.4 BRA 


本 书 主要 研究 面向 云 计算 平台 的 多 源 异 构 信 息 融合 方法 ,提出 以 本 体 
知识 库 为 指导 ,并 结合 数据 仓库 方式 的 多 源 异 构 信 息 融 合 系统 ,其 主要 工作 
有 以 下 几 点 : 

(1) 研究 云 计算 环境 下 服务 平台 构建 和 服务 部 署 ,并 分 析 讨 论 在 分 布 式 
环境 下 数据 的 执行 效率 和 瓶颈 。 本 书 主要 研究 基于 OpenStack Mitaka 的 公 
有 云 的 搭建 方案 。 所 搭建 的 公有 云 是 基于 实验 虚拟 出 的 一 种 公有 云 形式 。 
真正 的 公有 云 是 在 互联 网 环境 下 ,用 户 不 需要 任何 软件 ,直接 通过 网 络 、Web 
浏览 器 获取 的 一 种 服务 。 

(2) 对 异 构 数据 源 查 询 、 集 成 及 融合 技术 进行 了 综合 研究 和 分 析 , 在 此 
基础 上 ,提出 了 面向 云 计算 平台 的 多 源 异 构 信 息 集成 及 数据 融合 架构 。 该 
架构 是 对 适应 云 平台 特点 的 信息 融合 过 程 的 全 局 性 的 诠释 ,具有 重要 的 指 
导 作用 。 把 多 源 信息 融合 整体 架构 分 为 四 个 阶段 : 采集 原始 数据 、 数 据 抽 


象 .数据 集成 与 融合 .特征 抽象 。 本 书 详细 阑 述 了 各 个 阶段 的 流程 及 所 起 到 
的 作用 。 

(3) 研究 基于 MapReduce 数据 集成 及 数据 融合 总 体 架 构 , 对 架构 中 的 
几 个 主要 模块 做 了 重点 分 析 , 书 中 针对 元 数据 信息 存在 的 异 构 性 问题 提出 
了 蜡 构 冲 突 解 决 方法 ,并 将 该 方法 运用 到 建立 虚拟 数据 库 的 过 程 中 ,定义 了 
用 户 统 一 信息 查询 的 元 数据 信息 虚拟 数据 库 及 面向 虚拟 数据 库 的 相似 结构 
化 查询 语言 ; 分 析 了 系统 架构 中 解析 器 视图 分 析 及 任务 分 配 过 程 ; 分 析 了 
执行 器 模块 MapReduce 执行 过 程 .管理 过 程 及 连接 过 程 。 

(4) 实现 了 数据 采集 及 数据 融合 架构 的 原型 系统 ,并 对 部 分 实现 的 系统 
结构 进行 了 测试 。 实 验 结果 表明 ,该 架构 模型 能 够 在 较 短 的 时 间 内 处 理 多 
数据 源 海量 数据 ,为 用 户 请 求 提 供 完 整 信 息 。 


1.5 结构 安排 


本 书 共 分 为 7 章 , 各 章 的 主要 内 容 如 下 : 

第 1 章 : 绪论 。 首先 介绍 了 本 课题 的 背景 .研究 意义 .国内 外 研究 现状 
和 本 书 的 主要 研究 内 容 以 及 各 章节 的 主要 内 容 安 排 。 

第 2 章 : 主要 介绍 了 云 计算 平台 的 相关 技术 和 企业 应 用 ,详细 介绍 了 
云云 计算 、 云 计算 用 户 和 它 的 体系 结构 ,目前 被 认可 的 几 个 云 计算 平台 ,以 
及 云 计算 环境 下 服务 平台 构建 和 服务 部 署 。 

第 3 章 : 相关 背景 知识 介绍 ,介绍 了 数据 集成 的 基本 方法 和 相关 技术 ， 
并 对 后 面 涉及 的 技术 进行 了 概述 ,包括 云 计算 技术 ,数据 集成 和 数据 融合 技 
术 , 目 前 流行 的 数据 集成 及 融合 的 处 理 方法 ,还 包括 联邦 数据 库 方法 、 数 据 
仓库 方式 .中 间 件 集成 方式 .虚拟 数据 库 技术 .MapReduce 和 Hadoop 技术 、 
语义 Web 技术 及 本 体 。 

第 4 章 : 提出 了 一 个 可 完成 多 源 信息 集成 和 异 构 数 据 融合 的 多 源 异 构 
信息 融合 体系 结构 框架 ,并 对 框架 中 各 个 部 分 进行 了 详细 的 介绍 。 

第 5 章 : 详细 介绍 了 多 源 信息 融 合 系统 ,包括 多 源 异 构 信息 融合 系统 的 
介绍 以 及 系统 的 设计 与 开发 等 ,并 对 总 体 结构 设计 的 几 个 模块 如 何 实现 各 
自 功能 做 了 重点 研究 ; 同时 ,介绍 了 虚拟 数据 库 的 生成 , 异 构 数据 源 元 数据 
信息 各 种 异 构 性 ,不一致 性 与 冲突 的 识别 及 其 解决 方法 ,并 将 该 方法 运用 到 
建立 虚拟 数据 库 的 过 程 中 。 定 义 了 用 户 统一 信息 查询 的 元 数据 信息 虚拟 数 
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据 库 及 面向 虚拟 数据 库 的 相似 结构 化 查询 语言 。 分 析 了 系统 架构 中 解析 器 
模块 视图 分 析 及 任务 分 配 过 程 ; 分 析 了 执行 器 模型 MapReduce 的 执行 过 
程 , 管 理 过 程 及 连接 过 程 。 


1.6 本章 小 结 


本 章 主 要 介绍 了 本 书 的 研究 内 容 、 研 究 意义 和 国内 外 研究 现状 ,以 及 本 
书 的 结构 安排 。 


Hh N 


基于 OpenStack 的 云 平台 部 署 


云 计算 平台 是 由 Google 的 CEO 埃 里 克 ， 施 密 特 在 2006 年 提出 的 。 云 
计算 平台 主要 是 一 个 面向 服务 的 平台 , 它 通过 互联 网 将 大 规模 计算 和 存储 
资源 整合 起 来 , 按 需 提供 给 用 户 。 同 时 , 它 的 新 型 计算 机 资源 的 公共 化 方 
式 , 使 得 用 户 从 繁重 、 复 杂 、 易 错 的 计算 机 资源 管理 中 解放 出 来 ,只 关注 业务 
逻辑 ,降低 了 企业 信息 化 的 难度 。 


2.1 云 平 台 的 模式 


云 计算 有 四 种 不 同 的 形式 ,或 有 四 种 不 同 的 部 署 云 模型 : 私有 、 公 共 、 社 
区 和 混合 。 

CD 私有 云 : 私有 云 是 单个 组 织 的 云 基 础 设施 ; 私有 云 可 以 有 组 织 地 进 
行内 部 或 外 部 的 管理 。 一 个 私有 云 的 项 目 需要 大 量 的 虚拟 环境 来 搭建 。 
Sakr 和 其 他 一 些 人 认为 ,由 于 私有 云 与 传统 服务 器 的 相似 之 处 ,因此 私有 云 
受到 了 广泛 的 反对 ,而 且 私 有 云 在 前 期 的 时 候 在 金钱 方面 并 没有 优势 。 因 
此 ,也 只 有 大 型 企业 采用 私有 云 设 施 。 例如, 英特尔、 惠普 和 微软 都 有 自己 
的 内 部 私有 云 。 

(2) 公共 云 : 服务 提供 商 向 公众 提供 公有 云 应 用 资源、 存储 等 服务 。 
这 些 云 服务 提供 商 是 销售 云 服务 的 组 织 者 ,如 亚马逊 、 微 软 和 谷歌 。 这 些 服 
务 可 以 免费 提供 ,也 可 以 通过 支付 方式 提供 。 服 务 提供 者 提供 的 服务 质量 
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在 SLA( 服 务 级 别 协议 ) 中 提 到 ,这 是 消费 者 和 云 服务 提供 者 之 间 的 协议 。 
SLA 可 能 包括 服务 提供 者 在 隐私 、 安 全 性 和 备份 程序 中 提供 的 服务 。 然 而 ， 
缺乏 对 数据 、 网 络 和 安全 设置 的 细 粒 度 控 制 ,可 能 会 阻碍 其 在 不 同业 务 环境 
中 的 有 效 性 。 一些 公 共 云 的 例子 是 Amazon Web Services (AWS) H 
Microsoft Azure。 

(3) 社区 云 : 在 社区 云 中 ,无 论 是 内 部 管理 还 是 由 第 三 方 管理 .内 部 或 外 
部 托管 。 云 基础 架构 都 由 具有 共同 资源 需求 (安全 性 、 管 辖 权 和 政策 ) 的 组 织 
共享 ,他 们 在 分 享 成 本 方面 略微 有 利于 云 计算 ,因为 成 本 并 不 是 单一 组 织 单独 
出 现 , 而 是 由 不 同 组 织 共享 。 例 如 Google Gov(Google Apps for Government) 。 

(4) RES: 混合 云 是 两 个 或 更 多 个 云 的 组 合 , 即 它 可 以 是 私有 和 公共 
或 私有 和 社区 云 等 的 组 合 。 通 过 使 用 混合 云 体系 结构 ,组 织 和 个 人 能 够 不 
依赖 互联 网 连接 ,将 容错 与 本 地 即时 可 用 性 相 结合 。 混 合 云 几 乎 没有 限制 ， 
如 缺乏 内 部 客户 端 应 用 程序 的 灵活 性 、 安 全 性 和 确定 性 。 


2.2 OpenStack 概述 


2.2.1 OpenStack 简介 


OpenStack 是 一 个 开源 基础 架构 , 即 服务 (IaaS) 平 台 。OpenStack 是 一 
个 项 目 ,Rackspace 和 NASA 共同 为 公共 云 和 私有 云 的 构建 和 管理 提供 软 
件 开源 项 目 。 它 协助 服务 提供 商 和 企业 内 部 完成 类 似 于 Amazon EC2 和 S3 
云 基础 设施 服务 , 它 包 括 如 Keystone, Glance, Nova, Neutron, Cinder, Swift 
等 组 件 ,组 件 的 功能 将 在 后 续 文 章 详 细 描述 。 本 书 使 用 了 OpenStack 的 第 
13 版 “Mitaka”, 它 是 迄今 为 止 用 于 构建 公共 云 和 私有 云 的 最 流行 的 开源 
软件 。 


2.2.2 主流 开源 云 计 算 介 绍 


普通 用 户 对 开源 的 印象 好 像 也 就 是 免费 而 已 ,很 多 时 候 还 怀疑 免费 的 
东西 到 底 能 不 能 用 ,是 不 是 别人 留 下 来 的 陷阱 之 类 的 。 但 实际 上 免费 只 不 
过 是 开源 的 外 在 表现 形式 , 源 代码 公开 只 是 终端 用 户 看 见 的 冰山 一 角 。 其 
实 公 开 的 不 只 是 源 代码 那么 简单 ,还 有 开发 日 志 、 测 试用 例 、 错 误 总 结 、 数 据 
分 析 等 。 这 能 极 大 地 节约 开发 人 员 的 时 间 和 精力 一 一 不 必 做 大 量 机 械 重 复 
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的 工作 ,可 以 更 专注 于 新 功能 的 开发 。 很 多 人 认为 做 这 些 是 没有 回报 的 ,是 
纯粹 的 奉献 。 这 种 理解 当然 是 错误 而 又 片面 的 。 在 一 个 形成 良性 循环 的 开 
源 社区 里 ,每 一 个 社区 成 员 , 既 是 奉献 者 也 是 获 益 者 。 从 社区 中 学 到 的 ,其 
实 远 大 于 贡献 的 。 

目前 主流 的 开源 云 计 算 软 件 有 Apache CloudStack、Eucalyptus、 
OpenNebula .OpenStack ,并 且 都 已 经 形成 了 各 自 的 开源 社区 。 

尽管 Java 不 会 继续 是 主要 云 程序 的 核心 了 ,但 至 少 它 现 在 仍然 处 在 这 
一 重要 地 位 上 。Apache CloudStack 的 核心 就 是 用 Java 编写 的 。 其 可 以 与 
VMware, Hyper-V,KVM 和 XenServer/XCP 上 的 主机 共同 协作 。 为 了 部 
署 和 管理 虚拟 系统 ,Apache CloudStack 不 知 不 觉 间 就 形成 了 大 型 网 络 。 这 
个 网 络 后 来 被 许多 供应 商 选 为 部 署 私 有 云 等 解决 方案 的 平台 。 

当前 虽然 只 在 红 帽 Linux 和 CentOS 上 出 现 过 ,但 是 作为 一 种 完整 的 基 
础 设施 服务 解决 方案 ,Eucalyptus 已 经 受到 了 界 内 很 多 关注 。Eucalyptus 
是 一 样 功能 齐全 的 商品 。Eucalyptus 可 以 为 不 同 服务 提供 与 语言 无 关 的 
API. 在 Linux 系统 的 基础 上 ,用 户 可 以 使 用 基于 标准 的 模块 架构 ,在 现 有 
设备 的 基础 上 部 署 私 有 云 。 

OpenNebula 号 称 在 数据 中 心虚 拟 化 的 方向 上 提前 迈 出 了 一 步 。 该 项 
目的 研究 方向 是 ,开发 具有 自 适 应 能 力 的 虚拟 化 数据 中 心 。 现 在 正在 谋求 
有 志 之 士 的 合作 ,期望 获得 相应 的 稳定 性 和 合格 的 质量 。 它 有 自己 独 有 的 
核心 价值 优势 ,包括 流程 的 开放 、 项 目 生 命 周期 以 及 特有 的 创新 。 

在 所 有 基础 设施 服务 解决 方案 中 ,OpenStack 是 横 跨 多 个 领域 的 解决 方 
案 。 难 得 的 是 ,这 种 解决 方案 并 不 需要 用 到 指定 的 硬件 设备 或 软件 环境 。 
它 完全 可 以 在 虚拟 的 裸 机 上 运行 ,同时 还 能 支持 多 种 管理 虚拟 机 的 程序 。 
尤其 当 OpenStack 与 Hadoop 协同 运行 时 ,可 以 从 纵横 两 个 方向 上 扩展 ,以 
满足 大 数据 要 求 。 

2.2.3 OpenStack 七 大 核心 组 件 

它 是 一 个 开源 的 云 项 目 管理 平台 ,由 七 部 分 组 成 ,每 一 个 组 件 都 是 多 个 
服务 的 集合 ,而 每 一 个 都 是 一 个 运行 进程 。 它 们 分 别 是 计算 、 对 象 存储 、 认 
证 ,用 户 界面 、 块 存储 、 网 络 和 镜像 服务 。 各 组 件 的 关系 如 图 2.1 所 示 。 

1. 计算 (Compute): Nova 

Nova 是 云 组 织 的 控制 器 。 它 提供 一 个 部 署 云 的 工具 ,包括 运行 实例 、 
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图 2.1 OpenStack 的 七 大 核心 组 件 


管理 网 络 以 及 控制 用 户 和 其 他 项 目 对 云 的 访问 。 它 的 底层 开源 项 目 名 称 是 
Nova, 其 提供 的 软件 能 控制 Lan 云 计算 平台 ,类 似 于 Amazon EC2 和 
Rackspace Cloud Servers。 该 计算 服务 是 OpenStack 的 核心 服务 。 计 算 服 
务 通 过 Nova-compute 模块 提供 虚拟 机 。 它 还 提供 了 诸如 EC2 兼容 性 和 控 
制 的 接口 。 

2. 对 象 存储 (Object Storage) ; Swift 

Swift 是 一 个 可 扩展 的 对 象 存储 系统 ,支持 多 种 应 用 ,如 复制 和 存储 数 
据 , 图 像 或 视频 服务 ,存储 次 级 静态 数据 ,开发 数据 存储 整合 的 新 应 用 ,存储 
容量 难以 估计 的 数据 ,为 Web 应 用 创建 基于 云 的 弹性 存储 。 

在 OpenStack 平台 中 ,任何 数据 都 是 对 象 ; Swift 代理 模块 提供 诸如 
HTTP(S) ,OpenStack Object API 和 与 S3 兼容 的 访问 接口 。 访 问 对 象 访问 
Swift-Proxy 后 ,还 需要 通过 账户 、 容 器 .对 象 三 个 模块 来 定位 ; 这 是 因为 
OpenStack 中 的 对 象 被 描述 为 容器 中 的 账户 的 对 象 。 

3. 镜像 服务 (Image) : Glance 

Glance 的 出 现 缘 于 虚拟 机 映像 的 管理 。 生 成 镜像 后 ,需要 将 映像 注册 
到 系统 的 数据 库 中 ; 实例 化 虚拟 机 时 ,需要 将 映像 发 送 到 具体 的 机 器 来 启动 
虚拟 机 。 所 以 ,最 重要 的 Glance 接口 是 image 的 注册 和 传输 。 
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4. 块 存储 (Block Storage) : Cinder 

Cinder 是 存储 管理 的 组 成 部 分 。 许 多 人 一 直 在 努力 实现 AWS 的 EBS。 
OpenStack 最 终 推出 了 自己 的 存储 管理 组 件 。 在 未 来 ,如 果 存 储 供应 商 拥护 
Cinder,OpenStack 的 商业 化 仍然 十 分 有 利 。 对 于 企业 来 讲 , 利 用 分 布 式 存 
储 作为 虚拟 机 并 没有 节约 本 钱 ,并 维持 了 一 套 分 布 式 存储 ,成 本 仍然 居 高 不 
Fo 目前 ,存储 供应 商 可 以 解决 虚拟 机 的 各 种 高 可 用 性 和 备份 问题 。 

5. 网 络 & 地 址 管理 (Network): Neutron 

确保 为 其 他 开放 服务 (如 OpenStack 计算 ) 提 供 网 络 连 接 。 为 云 计 算 供 
应 虚构 网 络 功能 ,并 为 每 一 个 有 差别 的 租户 创建 一 个 独立 的 网 络 空间 。 

6. UI 界面 (Dashboard) ; Horizon 

为 所 有 的 OpenStack 服务 提供 一 个 模块 化 的 可 视 化 图 形 界面 。 允 许 用 
户 操 作 使 用 这 些 项 目 中 的 资源 。 通 过 这 个 接口 ,用 户 可 以 设置 主机 ,分 配 带 
宽 , 添 加 云 盘 等 。 

7. 身份 服务 (ldentity): Keystone 

Keystone 是 OpenStack 的 用 户 身 份 验 证 组 件 , 其 作用 是 为 用 户 和 各 种 
服务 端口 创建 管理 项 目 ,并 使 用 任何 API 对 用 户 进行 身份 验证 ,首先 必须 通 
过 Keystone 验证 。 


2.3 OpenStack 部 署 


在 安装 OpenStack 云 平台 前 ,首先 要 对 宿主 机 进行 一 系列 的 配置 。 
2.3.1 虚拟 机 的 创建 与 配置 


(1) 首先 在 宿主 机 上 安装 Oracle VM VirtualBox 软件 。 打 开 
VirtualBox 软件 ,执行 “管理 ”>“ 全 局 变量 ”一 “网络 ”命令 ,在 NAT 网 络 中 添加 
一 个 新 的 NAT 网 络 。 将 网 络 IP 配置 为 “10.0.0.0/24”, 如 图 2. 2 所 示 。 

选择 仅 主机 网 络 选项 卡 ,添加 一 个 新 的 主机 网 络 ,设置 为 默认 格式 ,用 
于 OpenStack 云 平 台 的 内 部 通信 。 

(2) 在 VirtualBox 软件 中 单 击 “ 新 建 ” 按 钮 ,设置 虚拟 机 名 为 controller, 
选择 安装 Ubuntu 14. 04 server 操作 系统 ,为 操作 系统 分 配 4GB 内 存 空间 ,如 


iB. 


\ 
a 


向 云 平 台 的 物 联网 多 源 异 构 信 息 融 合 方法 


P NAT RRRA ? x 
Hi SAPER E) 


FRA: bah | 
网 络 CIDR: |10.0.0.0/24 
Paan, Cep pr 
口 支持 re 
1 建议 默认 IPv6 路 径 (B) 


图 2.2 NAT 网 络 


2.3 所 示 。 然 后 选择 文件 位 置 , 为 磁盘 空间 分 配 120GB 空间 ,如 图 2.4 所 
示 。 单 击 “ 创 建 ”" 按 钮 。 另 一 台 虚 拟 机 照 此 配置 ,只 需 将 虚拟 机 名 称 改 为 


Compute, 
t X 
€ FRENE 
虚拟 电脑 名 称 和 系统 类 型 
EMW: [controller 
(D: [Li E 
类 型 (TD); [Line a 
版 本 (Y) [Vbuntu 14.04 server D 
Pate) 00 
|4096 |S] MB 
— REPRE 
4N 16384 MB 
虚拟 硬盘 
O 不 添加 虚拟 硬盘 (0) 
© 现在 创建 虚拟 硬盘 (C) 
O 使 用 已 有 的 虚拟 硬盘 文件 () 
a 
ga [ane] | 取消 


图 2.3 配置 虚拟 机 (一 ) 


(3) 创建 完毕 虚拟 机 后 在 安装 操作 系统 前 ,应 选择 设置 ,在 网 络 区 域 ,将 
网 卡 1 配置 为 NAT 网 络 ,高 级 设置 默认 即 可 ; 将 网 卡 2 配置 为 仅 主机 模式 ， 
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€ egre 


文件 位 置 (LD) 


controller 


文件 大 小 (8) 


虚拟 硬盘 文件 类 型 (I) 

@ VDI (VirtualBox MMR) 

O mm 《虚拟 硬盘 ) 

O vix. (虚拟 机 磁盘 ) 二 分割 为 sep 以 下 大 小 的 文件 (8) 
O mw (并 口 硬盘 ) 

O acor (mm 写 入 时 复制) 

Oa (quu ABBR) 


图 2.4 配置 虚拟 机 (二 ) 
选择 “高 级 ”选项 ,将 混杂 模式 设置 为 全 部 允许 ,如 图 2.5 所 示 。 


网 络 


ei RF: B3 BEA 
回 启用 网 络 连 接 (E) 
连接 方式 (A) ”| 仅 主机 Host-Only) p v 


FMAM WD: VirtualBox Host-Only Ethernet Adapter #3 


vend 


#28554 (D: Intel PRO/1000 MT Sig (825400) 


混杂 模式 (); [全 部 允许 


wc eum, [080027C2ED14 


回 接 入 网 线 (C) 


p» 


À 
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2.3.2 安装 步 又 


在 该 系统 的 安装 和 操作 时 应 注意 选择 好 的 版 本 号 , 必须 选择 
Ubuntul4. 04 操作 系统 ,否则 ,在 OpenStack 的 安装 可 能 会 有 一 些 问 题 。 安 
装 系统 时 ,最 好 不 要 自 定义 划分 盘 符 。 具 体 问 题 会 在 下 一 节 讲 解 。 最 后 将 
自动 更 新 关闭 。 

这 部 分 解释 如 何 架构 配置 控制 节点 和 一 个 计算 节点 。 

大 多 数 环境 包括 身份 验证 、 镜 像 、 计 算 、 至 少 一 个 Web 服务 和 Horizon, 
如 果 要 使 用 Horizon, 则 应 至 少 需要 镜像 服务 .计算 服务 和 Web 服务 。 因 
此 ,本 次 安装 选择 按 最 低 要 求 进 行 部 署 。 只 包含 认证 、 镜 像 .计算 、 网 络 服 
务 , 还 有 Horizon。 

以 下 操作 必须 使 用 管理 员 权限 账户 配置 每 个 节点 。 可 以 使 用 root 用 户 
或 sudo 工具 执行 这 些 命令 。 

以 下 环境 为 最 小 支持 环境 ,构建 一 个 核心 服务 和 一 个 CirrOS 实例 ， 

Controller-node; 1 处 理 器 ,4GB 内 存 ,120GB 存储 。 

Compute-node; 1 处 理 器 ,4GB 内 存 ,120GB 存储 。 


2.3.3 环境 配置 


安装 节点 操作 系统 后 ,首先 应 该 配置 网 络 。 建 议 禁 用 自动 网 络 管理 工 
具 , 并 手动 编辑 Ubuntu 操作 系统 的 配置 文件 。 

对 于 管理 的 目的 ,如 安装 包 、 安 全 更 新 .DNS 和 NTP, 所 有 节点 应 与 互 
联网 进行 通信 。 在 大 多 数 情 况 下 ,节点 应 该 通过 管理 网 络 接口 访问 
Internet。 为 了 更 好 地 突出 网 络 隔离 的 重要 性 ,网 络 采用 私有 地 址 物理 网 络 
设备 通过 NAT 提供 互联 网 接 入 。 路 由 TP 地 址 用 于 隔离 服务 提供 商 (外 部 ) 
网 络 且 物理 网 络 设备 可 以 提供 对 Internet 的 直接 访问 。 

在 提供 服务 网 络 框架 中 ,所 有 实例 直接 连接 到 提供 服务 网 络 。 

使 用 如 下 网 络 : 

eth0( 公 共 网 络 ) 一 一 网 络 段 : 类 似 10. 0. 0.0/24; 功能 : 提供 访问 网 络 
节点 外 部 网 络 的 公共 网 络 。 

ethl( 管 理 网 络 .数据 网 络 ) 一 一 网 络 段 : 类 似 192. 168. 134. 1/24; 管理 
网 络 : 有 关 OpenStack 组 件 之 间 的 通信 ; 数据 网 络 : 用 于 在 云 部 署 中 实现 数 
据 之 间 的 通信 ,如 图 2.6 所 示 。 
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10.0.0.0/24 


Public Switch 


i 
10.0.0.11/24 


计算 节点 
=| ethl | 一 =| ethl fe 
Switch 


192.168.134.1/24 


6 网 络 拓扑 图 


1. 配置 网 络 接口 
在 控制 节点 配置 网 络 接口 
将 第 一 个 接口 配置 为 管理 网 络 接 口 : 


D 


IP 地 址 : 10.0.0.11 
Chien. 255.255.255.0 
默认 网 关 : 10.0.0.1 


提供 服务 网 络 接口 使 用 未 分 配给 其 TP 地 址 的 特殊 配置 。 将 第 二 个 网 卡 


配置 为 提供 服务 网 络 ,如 图 2.7 所 示 


iface ethó inet static 
address 10.0.0.11 
netmask 255.255.255.0 
network 10.0.0.0 
broadcast 10.0.0.255 
gateway 10.0.0.1 
# dns-* options are implemented by the resoluconf package, if installed 
dns-nameservers 10.0.0.1 
h The provider network interface 
uto ethi 
iface ethl inet manual 
ip ip link set deu SIFACE up 
oun ip link set deu SIFACE doun 


2.7 ethl 网 络 配置 (一 ) 
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图 2 


编辑 /etc/hosts 写 入 域名 服务 器 IP 如 下 : 


# controller 


10.0.0.11 controller 


* compute 


10.0.0.31 compute 


如 图 2.8 Brzn 


执行 /etc/init. d/networking restart, 启 用 网 络 。 


"a + 
在 compute H 


点 配置 网 络 接口 。 


将 第 一 个 接口 配置 为 管理 网 络 接口 : 


IP 地 址 :10.0.0. 


31 


f Min: 255.255.255.0 


默认 网 关 : 10.0 


provider 网 络 接口 使 用 和 controller 节点 相同 的 配置 ,如 图 2.9 所 示 。 


0.1 


ft The primary network interface 


netmask 255.255.255.0 
network 10.0.0.0 
broadcast 10.0.0.25 
gateway 10.0.0.1 


s-™ option 


nameservers 10.0.0.1 
The provider network interface 


inet manual 
et deu SIFACE 


down ip link set 


deu $IFACE doun 


图 2.9 ethl 网 络 配置 ( 


编辑 /etc/hosts 写 和 人 域名 器 IP 如下: 


# controller 


10.0.0.11 controller 


* compute 


10.0.0.31 compute 


are implemented by the resoluconf package, 


127.0.0.1 


localhost 


10.0.0.11 controller 


10.0.0.31 compute 


hosts X f/f 


f installed 


cs etc/init. d/networking restart, 启 用 刚才 的 网 络 设 置 。 


后 进行 验证 两 个 节点 是 否 可 以 通信 ， 


X44 


关于 于 连接 命令 
两 个 节点 都 执 和 


2. 10 所 示 。 


验证 两 节点 是 


如 下 所 示 。 
行 ping 命令 ,此 命令 为 了 验证 


否 可 以 通信 ,如 图 2. 11 所 示 。 


最 后 连接 外 网 。 


FE 是 否 可 以 与 


外 网 通信 


q mm 


EE 
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frootecontroller:~# pi 


140.107 
140.102 
140.107 IS tine=234 ns 


packet loss, time 3004ms 
30/235 .362/0.505 ns 


图 2.10 


EXE 
.31) 56(84) bytes of data 
e (10.0.0.31) 764 tine=0.287 ms 
(10.0.0.3): -64 tine-0.288 
(10.00.31) q-3 tt1-64 tine-0 
e (10.0.0.31): icmp seq-4 tt] 


compute ping statistics -一 
packets transmit 4 received, 0% packet loss, tine 3000ns 
[rtt ninzaug/nax/ndeu = 0.273/0.286/0.297/0.014 ns 


图 2.11 验证 连通 性 (二 ) 
两 个 节点 都 用 上 述 的 两 个 命令 进行 
2. 安装 NTP 服务 

€ NTP 服务 用 于 双 节 点 的 时 间 同 步 ,具体 命令 如 下 : 


apt — get install chrony 


成 之 后 使 用 vi dh 


加 以 下 


辑 器 编辑 /etc/chrony/chrony. conf 


启动 NTP 服务 ,输入 指令 : 


Service chrony restart 

然后 在 计算 节点 的 同时 部 署 NTP 服务 ,在 chrony. conf 文件 中 将 
server 参数 修改 为 如 下 所 示 : 

server controller iburst 
要 将 默认 的 server 参 
启动 NTP service. fj AGES: 


service chrony restart 
在 控制 节点 处 进行 验证 NTP, 同 步 输入 同样 的 指令 : 
chronyc sources 


如 图 2.12 所 示 。 
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\ 
Ds] 
S 
可 

le 


[rootecontroller:^s chronyc sources 
Ein Number of sources = 1 


IS Name/IP addre: t sample 


Stratum Poll Reach LastRx L 


*OnsL *0nsl +/— 


图 2.12 时 间 同 步 ( 一 ) 


在 compute 节点 执行 相同 的 命令 ,如 图 2. 13 所 示 。 


rootecompute:“# chronyc sources 
Eng Nunber of sources 
S Name/ IP addre: 


-6236ns[-9000ns] +/- 140us 


“* controller 14 


图 2.13 时 间 同 步 ( 二 ) 


3. 安装 OpenStack 客户 端 

下 面 进行 OpenStack 包 的 安装 。 安 装 包 需 要 在 所 有 的 节点 进行 ,本 书 
只 提供 了 两 个 节点 ,因此 ,在 这 两 个 节点 执行 相同 的 命令 即 可 。 

首先 需要 启动 OpenStack E ,之 后 在 两 个 节点 下 安装 升级 包 : 

apt-get update && apt-get dist-upgrade # 如 果 需 要 更 新 内 核 ,需要 重启 主机 

在 两 个 节点 下 安装 OpenStack 客户 端 : 

apt- get install python - openstackclient 


4, 数据 库 安装 
数据 库 通常 在 
与 配置 。 


制 节点 部 署 


冲 节 点 上 运行 。 因 此 本 书 的 数据 库 只 在 


首先 安装 好 数据 库 , 设 置 数据 库 的 密码 并 eem 
23 y Xe ger KEE p D bind-address = 10.0.0.1]] 
将 其 设置 为 root。 创 建 并 编辑 文件 /etc mysql default Storage SH innodb 
innodb_file_per_table 


conf. d/openstack. cnf, 如 图 2. 14 所 示 。 max_connections = 4096 
collation-server = utf8 general ci 


重新 启动 数据 库 服务 。 在 这 里 可 以 选择 Midi 
将 数据 库 进 行 加 固 , 命 令 如 下 : [8 2.14 openstack, cnf ZP 


mysql secure installation 
执行 后 会 有 比较 多 的 yes/no 交互 ,依据 个 人 情况 进行 更 改 。 

5. 安装 NoSQL 服务 

Telemetry 服务 使 用 NoSQL 数据 库 来 存储 信息 ,通常 在 控制 节点 上 。 
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这 里 使 用 MongoDB。 
首先 安装 MongoDB 包 ,使 用 vi 编辑 器 打开 /etc/mongodb. conf, 5A F 
面 的 设置 : 


bind ip = 10.0.0.11 

smallfiles = true 

然后 执行 对 MongoDB 服务 的 停止 操作 ,将 journal/ 文 件 夹 中 的 
prealloc. * 删除 ,最 后 在 MongoDB 服务 启动 。 

6. 安装 消息 队列 服务 

消息 队列 服务 通常 在 Controlle-node 运行 。OpenStack 支持 多 消息 队 
列 服务 ,包括 QPID 和 ZeroMQ。 然 而 ,大 多 数 OpenStack 的 数据 包 分 布 支 
持 特 定 的 消息 队列 服务 。 本 次 安装 选用 RabbitMQ, 

首先 进行 安装 包 的 安装 ,加 入 OpenStack FAP: 


rabbitmqctl add user openstack RABBIT PASS # 这 里 的 RABBIT PASS 指 的 是 密码 ， 
在 这 里 可 以 将 密码 改 为 openstack 


授权 命令 : 


rabbitmqctl set permissions openstack". « "", « "", x" 


7. 安装 分 布 式 缓存 服务 

身份 验证 服务 .身份 验证 缓存 使 用 memcached 缓存 令 牌 。 缓 存 服务 
memcached 在 Controlle-node 运行 。 在 生产 部 署 中 ,我 们 建议 联合 防火 墙 、 
身份 验证 和 加 密 以 确保 其 安全 性 。 

先进 行 软件 包 的 安装 ,然后 修改 /etc/memcached. conf, 将 里 面 的 
-1 127. 0. 0. 1 修改 成 -1 10. 0. 0. 11( 这 是 管理 网 卡 IP 地 址 ) 。 

重新 启动 memcached 服务 。 

到 此 为 止 环境 已 经 配置 成 功 。 


2.3.4 身份 认证 模块 的 安装 与 配置 


1. 前 期 准备 

在 部 署 OpenStack 身份 验证 服务 之 前 ,首先 创建 数据 库 和 管理 员 令 牌 。 
本 节 所 进行 的 一 系列 安装 与 配置 全 部 都 在 控制 节点 进行 。 

以 root 身份 进入 SQL 数据 库 并 建立 keystone 数据 库 , 在 数据 库 内 ,到 


DS 


/ 
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立 keystone 用 户 并 赋予 权限 ,如 图 2. 15 所 示 。 


GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'ĝ@'localhost’ V 
IDENTIFIED BY "KEYSTONE DBPASS'; 


GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'Q'X' X 
IDENTIFIED BY 'KEYSTONE DBPASS'; 


图 2.15 赋予 keystone 用 户 权限 


这 里 应 该 注意 ,将 *KEYSTONE_DBPASS” 替 换 为 自己 想 要 输入 的 密 
码 , 在 这 里 ,可 以 输入 “k123456”。 退 出 数据 库 , 返 回 到 命令 行 界面 ,执行 
openssl rand-hex 10 命令 ,得 到 一 串 随 机 数 , 将 会 用 作 临 时 的 admin token, 

后 续 安装 中 会 起 作用 。 

2. 安装 与 配置 keystone 

首先 进行 安装 包 的 安装 ,使 用 vi 编辑 器 打开 keystone. conf 配置 文件 。 

在 [defaultj 中 , 写 入 admin token 的 值 。admin_token 是 上 面 自动 生成 
nm em, 

在 Ldatabase] 中 , 写 人 以 下 连接 字符 串 : 

connect ion = mysql + pynysql : //keystone:k123456@controller/keystone 

TE[ token] F. A provider=fernet. 

初始 化 身份 验证 服务 的 数据 库 和 Fernet keys。 安 装 之 后 需要 禁止 
keystone 服务 开机 启动 。 

3. 配置 Apache HTTP 服务 
已 安装 apache2。 请 参见 前 面 的 步骤 ,这 里 只 需要 一 些 配置 工作 。 编 
辑 /etc/apache2/apache2. conf.Z Ja A: ServerName controller, 

在 apache2 文件 夹 的 子 文件 夹 sites-available 中 创建 一 个 wsgi- 
keystone. conf ,将 图 2. 16 中 的 内 容 复制 进去 即 可 。 

开启 认证 服务 虚拟 主机 : 


1n - s /etc/apache2/sites - available/wsgi - keystone. conf /etc/apache2/sites 
— enabled 


重启 Apache HTTP 服务 器 : 


Service apache2 restart 
扫尾 工作 rm -f /var/lib/keystone/keystone. db 
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keystone groupekeystone display-n At 


combined 


up-keystone display 


图 2.16 wsgi-keystone. conf 配置 文件 


此 时 ,已 安装 和 配置 身份 验证 模块 
4, 创建 服务 实体 和 API 端点 


d 


身份 验证 服务 提供 服务 目录 及 其 位 置 。OpenStack 中 的 每 个 服务 需要 
册 服 务 均 需 要 


创建 一 个 服务 实体 ,相当 于 keystone 注册 ， 任何 访问 这 些 
keystone 验证 。 配 置 认 证 令 牌 : 


export OS TOKEN = ADMIN TOKEN it ADMIN TOKEN 指 的 是 生成 的 一 串 随机 数 .在 这 里 
随机 数 为 31e4aa87457f40b88ac6 


配置 端点 URL: 

export 0S_URL = http://controller:35357/v3 
配置 认证 API 的 版 本 : 

export OS_IDENTITY API VERSION= 3 


创建 服务 实体 和 身份 认证 服务 ,如 图 2. 17 所 示 。 


root@controller:/home/zjf# openstack service create \ 
name keystone --description "OpenStack Identity“ identity 
+ 
1 value 


enabled True 


name keystone 


l 
1 
id 464c898d4c734750bac188104ab6f4al | 
1 
type identity l 


> 
+- 

L 

+ RSEN 
| description | OpenStack Identity 
1 

1 

1 

1 

+- 


图 2.17 服务 实体 和 身份 认证 服务 
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d 


创建 3 个 API URL 供 拥 有 不 同 权 限 的 实体 使 用 (用 户 、 其 余 服务 等 ): 


openstack endpoint create 一 region RegionOne identity public https://controller: 
5000/v3 ## 在 这 里 只 列 出 其 中 一 个 API URL, 剩余 两 个 分 别 为 internal 和 admin, 如 
图 2.18 Bras 


root@controller: /home/zjf# openstack endpoint create --region RegionOne V 
identity public http://controller:5000/v3 


+ + 
I 1 
+ ---- E 
| enabled True l 
| id 29426d84c30948562268f73ad41f586 | 
| interface P | 
| region e | 
| region_id RegionOne | 
| service id | 464c898d4c734750bac188104ab6f4al | 
| service name | keystone | 
| service type | identity 1 
| urt http://controller:5000/v3 | 
4 = ES 
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5. 建立 domain, project , user role 等 
认证 服务 为 每 一 个 OpenStack 服务 提供 认证 服务 
创建 域 default; openstack domain create --description "Default Domain" 


default, 如 医 19 所 示 


root@controller: /hone/zjf# openstack domain create --description “Default Domain” default 


Field H “Value 


enabled | True 
id | 63f1b0dede304117956c7623fc1a2847 


+ 
1 
-- - - E 
description | Default Domain 1 
I 
| 
name | default I 


2.19 创建 default 域 


为 进行 管理 操作 ,创建 托管 项 目 、 用 户 和 角色 
创建 admin 项 A: openstack project create --domain default--description 


2.20 所 示 


"Admin Project" admin. All É 


root&controller:/home/zjf£ openstack project create --domain default V 
-description "Admin Project" admin 


Value 


description | Admin Proje 

domain id | 63f1b6dede304117956c7623fc1a2847 
enabled True 

id 30c4487cace44c449ba6ee5ele9a9a20 | 

False l 

admin | 

3f 1bOdede304117956c7623c1a2847 | 

+ 


+ 
1 
-+ 
l 
l 
1 


图 2.20 创建 admin 项目 
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ssword- 


prompt admin ,在 这 里 需要 设置 密码 ,本文 设 置 的 是 admin, 如 图 2. 21 所 示 。 


创建 admin DI P, openstack user create --domain default 一 pa 


root@controller:/home/zjf# openstack user create --domain default V 
> --password-prompt admin 

User Password: 

Repeat User Passwort 


+--- -+ 
Field | Value | 
+ 
| 
enabled | True | 
id | bb9df346f7744095ba068d93d2bf43e2 | 
name | admin l 


+ 
l 
* 
| domain id | 63f1b0dede304117956c7623fc1a2847 
l 
l 
l 
+ -+ 


.21 创建 admin 用 户 


创建 admin 角色 : openstack role create admin, WAI 2. 22 所 示 。 


root@controller:/home/zjf# openstack role create admin 
= -十 
Value | 
+-- E e 
| domain id | None | 
1d441f74859b458ca678clad7d00c1lod | 
admin l 


创建 admin 角色 


添加 admin 角色 到 admin 项 目 和 用 户 上 : openstack role add --project 
admin --user admin admin 


创建 service 项 H - openstack project create --domain default —description 


"Service Project" service, 如 图 2. 23 所 示 


root&controller:/home/zjfz openstack project create --domain default V 
- description "Service Project" service 
See 
| Field 
description | Service Project 


domain_id 3f1b0dede304117956c7623fc1a2847 
enabled True 


id 526a75d4fe6f43dc95585592f4990373 
is domain | False 

name service 

parent id 3! 304117956c7623fc1a2847 


常规 ( 非 管理 员 ) 任 务 应 使 用 非特 权 项 目 和 用 户 , 因 此 创建 demo 项 目 和 
HP. 


创建 demo MH : openstack project create --domain default --description 


H [0] 2+ 


& 8 EX Id 2 RSs LR 


合 方法 


"Demo Project" 


root@controller:/home/zjf# openstack project create 


descr: 


descripti 
domain id 


enabled 


parent id 


创建 demo 用 户 


rootgcontroller:/home/zjf£ openstack user create -- 


demo, DUR 2. 24 所 示 。 


iption "Demo Project" demo 


Demo Project 1 
63f1b0dede304117956c7623fc1a2847 | 
True l 
1b4603f9b4064f079f4c94e9c4fa48fa | 
False l 
demo 

63flbedede3641179: 


on 


l 
c7623fc1a2847 | 


图 2.24 创建 demo Ji A 


并 设置 demo 密码 为 demo. 


--password-prompt demo 
User Password: 
Repeat User Password 


domain id | 


enabled 
id 
name 


创建 user 角色 ， 


63f 1bedede364117956c 7623fc 1a2847 
True 
6b33e4a f f92840e0bad4a172908d5444 


创建 demo 用 户 


如 图 2. 26 所 示 


" 3 
Field 


pe in id | None 


id 


name user 


图 2. 26 


创建 user 角色 


--domain default \ 


如 图 2 


domain default \ 


2495715257b642d7b2e2deadeaaa09e5 


添加 user 角色 到 demo 项 目 和 用 户 : openstack role add project demo 


--user demo user。 


验证 操作 


erc 知 , 创 建 命令 的 育 


含 许多 变量 。 用 户 使 用 短命 令 的 原因 是 因为 需 
因此 OpenStack 命令 将 检查 一 些 必要 的 参数 ,4 
量 。 前 文 在 环境 变量 中 曾 写 人 了 dim 


于 安全 性 需 3 


有 一 


ie 


EX 


jr 


步 相对 较 短 


要 的 原因 , 须 关 闭 临 时 认证 令 


人 Ay 


OpenStack 命令 长 且 包 
作 中 设置 环境 变量 ， 
果 不 是 ,然后 转 到 环境 变 
非常 不 安全 。 


要 在 操 


牌 机 制 : 
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编辑 /etc/keystone/keystone — paste. ini 文件 , 从 [pipeline: public_api]、 
[Lpipeline:admin_api] 和 [pipeline:api_v3j 部 分 删除 admin_token_auth, 

撤销 在 操作 中 设置 的 环境 变量 : unset OS_TOKEN OS_ = 

ur TE ee ee P. X 管理 员 用 户 的 
验证 ,然后 返回 令 牌 。 

命令 如 下 : 


openstack —- os - auth- url http://controller:35357/v3 VN 
—-— os - project - domain - name default -- os - user - domain - name default V 
—-— os - project - name admin —- os - username admin token issue 


里 需要 输入 admin 用 户 的 密码 。 密 码 在 上 文 提 到 过 为 : admin. 
对 demo 用 户 进行 身份 验证 : 


openstack —- os - auth- url http://controller:5000/v3 V 
—- os - project - domain - name default —-— os- user - domain - name default V 
—-— os - project - name demo —- os - username demo token issue 


里 需要 输入 demo 用 户 的 密码 。 密 码 在 上 文 提 到 过 为 : demo. 
7. 创建 OpenStack 客户 端 环境 脚本 


其 日 的 是 编写 脚本 ,执行 环境 变量 的 创建 ,并 简化 OpenStack 命令 长 度 。 
创建 ,修改 文件 admin-openrc, 并 写 入 如 图 2. 27 所 示 的 内 容 。 


OS PROJECT DOMAIN NAME-default 


)RD-ADMIN PASS 

DS AUTH URL-http://controller:35357/v3 
OS IDENTITY API VERSION- 

OS IMAGE API VERSION- 


图 2.27  admin-openrc 脚本 的 创建 


在 这 里 将 图 2. 27 中 的 ADMIN. PASS 改 为 admin, 即 脚本 已 完成 。 同 
样 ,创建 demo 客户 端 环 境 脚本 也 是 如 图 2. 27 所 示 , 只 需要 修改 两 个 部 分 : 
OSPR EGT NAME fll PASSWORD- demo 即 可 。 

接 下 来 ,可 以 通过 运行 admin-openrc 来 启动 脚本 ,请求 身 份 认证 令 


openstack token issue 


到 此 为 止 ,身份 验证 模块 配置 完毕 。 


27 


> 


SS 


FE 台 的 物 联网 多 源 异 构 信息 融合 方法 


可 
le 


2.3.5 镜像 服务 模块 的 安装 与 配置 


本 节 介 绍 如 何在 Controller-node 上 部 署 镜像 服务 , 即 glance。 简 单 地 
说 ,这 种 配置 将 镜像 存储 在 本 地 文件 系统 中 。 

在 部 署 镜像 服务 以 前 ,建立 数据 库 、 服 务 凭 证 和 API 端点 。 

进入 MySQL ,建立 glance 数据 库 : create database glance。 

在 MySQL 内 建立 glance 用 户 并 授权 ,如 图 2. 28 所 示 。 


GRANT ALL PRIVILEGES ON glance.* TO 'glance'Q'localhost' V 
IDENTIFIED BY 'GLANCE DBPASS'; 


GRANT ALL PRIVILEGES ON glance.* TO 'glance'Q'X*' \ 
IDENTIFIED BY 'GLANCE DBPASS'; 


图 2.28 glance 用 户 授权 
将 KEYSTONE DBPASS 替换 为 想 输 入 的 密码 ,可 以 修改 成 <g123456”。 
退出 数据 库 并 运行 脚本 admin-openrc( 在 部 署 keystone 时 建立 的 脚 
本 ) ,在 管理 员 权限 管理 用 户 身 份 之 后 执行 。 


建立 OpenStack 的 glance HI P! : openstack user create --domain default -- 


password-prompt glance, 设 置 glance 用 户 密 码 : glance. 
为 glance 用 户 设 置 权 限 ,允许 glance 用 户 对 服务 项 目 中 的 所 有 资源 具 


有 管理 员 权 限 ( 除 keystone 之 外 的 服务 资源 将 包括 在 此 项 目 中 ): 
openstack role add -- project service -- user glance admin 


创建 glance 的 服务 实体 ,如 图 2. 29 所 示 。 


/zjf# openstack service create --name glance V 
"OpenStack Image" image 


ription | OpenStack Image 
| True 


图 2.29 创建 glance 的 服务 实体 
创建 镜像 服务 的 API 端点 : 
openstack endpoint create —-— region RegionOne V 


image internal https://controller; 9292 在 这 里 只 列 出 其 中 一 个 API 


OpenStackHiz 4 


D 
ie 


URL ,剩余 两 个 分 别 为 public 和 admin. 


安装 glance 包 并 修改 文件 /etc/glance/glance-api. conf, 写 和 人 如 图 


所 示 的 内 容 。 


[database] 


project_domain_name fault 
user domain name = default 
project name 

username = 

password 


[paste deploy] 


default store 


filesystem store datadir = /var/lib/glanc 


30 glance-api. conf 配置 文件 


修改 文件 /etc/glance/glance-registry. conf ,如 图 2. 31 所 示 。 


[database] 
connection = mysql+pymysql://glance:g123456@controller/glance 


[keystone authtoken] 


memcached servers = controller:11211 
buth type = password 


project domain name - default 


user domain name - default 


username 


password 


图 2.31 glance-registry. conf 配置 文件 


向 云 平台 的 物 联网 多 源 异 构 信息 融合 方法 


同步 数据 库 , 如 图 2. 32 所 示 。 


troller:/home/zjf& su /sh -c "glance-manage db sync" glance 


图 2.32 同步 数据 库 
启动 镜像 服务 ,下 载 镜像 文件 到 某 个 目录 下 ,按照 官网 的 例子 ,获取 
cirros 镜像 。 
在 刚刚 保存 镜像 文件 的 目录 中 ,执行 上 传 镜像 命令 ,并 执行 确保 管理 员 
用 户 身份 验证 的 环境 变量 (admin-openrc)。 


openstack image create "cirros" 
—- file cirros - 0.3.4 — x86 64 — disk. img V 
—- disk- format qcow2 -- container - format bare V 
—- public 


检查 镜像 是 否 上 传 成 功 ,执行 openstack image list 命令 ,如 图 2. 33 所 
示 , 表 示 执 行 成 功 。 


到 此 为 止 ,glance 模块 安装 成 功 。 
2.3.6 ”计算 服务 安装 与 配置 
1. 控制 节点 


这 个 部 分 将 叙述 如 何在 Controller-node 上 部 署 Compute 服务 ,也 就 是 
nova, 

在 部 署 Compute 服务 前 ,必须 建立 数据 库 服务 的 凭证 和 A PI 端点 。 

使 用 root 进入 MySQL ,创建 两 个 数据 库 : CREATE DATABASE nova api 
和 CREATE DATABASE nova, 

在 数据 库 中 ,建立 nova 用 户 并 给 予 权限 (应 注意 赋予 权限 时 NOVA _ 
DBPASS 设置 为 n123456) ,之 后 命令 中 修改 为 一 致 的 NOVA_DBPASS 值 ， 
然后 退出 MYSQL。 

运行 admin-openrc 脚本 ,为 了 更 好 地 确认 接 下 来 以 管理 员 身 份 继 续 执 
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行 下 面 的 命令 。 
建立 nova 用 户 : 


openstack user create —— domain default 一 - password— prompt nova 
nova 用 户 授予 对 项 目 服务 的 管理 员 权 限 : 
openstack role add -- project service —— user nova admin 


创建 nova 服务 实体 ,如 图 2. 34 所 示 。 


rootecontroller:/home/zjf& openstack service create --name nova V 
compute 


description | 


enabled 


nova 
compute 


图 2.34 创建 nova 服务 实体 
创建 三 个 API URL 的 nova 服务 ,这 三 个 网 址 只 是 不 同类 型 : 


openstack endpoint create --region RegionOne \ compute admin https:// 
controller: 8774/v2.1/ % tenantids# 在 这 里 只 列 出 其 中 一 个 API URL, 剩余 两 个 
分 别 为 public 和 internal 
安装 nova 服务 所 需要 的 所 有 安装 包 及 修改 配置 文件 /etc/nova/nova. 
conf ,添加 或 更 改 如 图 2. 35 所 示 内 容 。 
同步 数据 库 ,重启 Compute 服务 ,到 此 为 止 ， 
2. Compute-node 
这 部 分 描述 如 何在 Compute-node 上 安装 并 配置 计算 服务 
首先 需要 安装 软件 包 , 之 后 对 /etc/nova/nova. conf 进行 添加 或 修改 ,如 
图 2. 36 Fras. 
修改 完 之 后 应 检查 Compute-node 能 否 支 持 虚拟 机 的 硬件 加 速 。 命 令 
WF: 


egrep - c '(vmx|svm)' /proc/cpuinfo 


值 为 1 或 更 高 , 则 Compute-node 可 以 硬件 加 速 , 并 


假如 这 个 命令 返 
无 需 修改 其 他 文件 。 
假如 这 个 命令 返 


E 


E 


值 为 0, 则 Compute-node 不 可 以 硬件 加 速 。 必 须 配 


台 的 物 联 网 多 源 异 构 信息 融合 方法 


[DEFAULT] 
dhcpbridge flagfile-/etc/nova/nova.conf 
sr/bin/nova-dhcpbridge 


lverbose-True 

ec? private dns show ip-True 

api paste config-/etc/nova/api-paste.ini 
enabled apis-osapi compute,metadata 
auth strategy - keystone 


nova. virt. firewall.NoopFirewallDriver 


rpc backend 
[api database] 


connection = mysql+pymysql: //nova:n123456@cont roller/nova_api 


[database] 


connection = mysql+pymysql : //nova:n123456¢controller/nova 


[oslo messaging rabbit] 
rabbit host = controller 
rabbit userid = openstack 


rabbit password = openstack # 环 境 配 置 时 安装 rabbitmq 时 创建 的 openstack 用 户 名 密码 


[keystone authtoken] 
|nemcached servers = controller:11211 
auth type - password 
project domain name - default 
auth uri - htt 
auth url - 
user domain name 
project name = service 

= nova 

nova 


vncserver_listen = Se ip 

|vncserver proxyclient address = $my ip 
[oslo concurrency] 

lock path = /var/lib/nova/tmp 


Bt libvirt 以 使 用 QEMU 而 不 是 KVM 


iil 15 4 nova. conf 配置 


修改 /etc/nova/nova-compute. conf 文件 ,在 [libvirt] 区 域 改 为 下 面 的 


代码 ， 
virt_type = qemu 
重启 计算 服务 
3. 验证 操作 


验证 操作 需要 在 控制 节点 进行 ,因此 ,首先 


管理 员 权限 。 


运行 admin-openrc 脚本 获取 


列 出 服务 组 件 以 验证 进程 是 否 成 功 启 动 和 注册 : 


openstack compute service list 


37 所 示 .compute-node 此 时 已 


EH 
ZEL 


| 


现 。 


rootec， 
+ 


+ 
| 
+ 
l 
| 
l 
1 
+ 


到 这 里 为 止 ,nova TF $ 


2. 


本 
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Bhcpbridge flagfile-/etc/nova/nova.conf 

hcpbridge-/usr/bin/nova-dhcpbridge 

plogdir-/var/log/nova 

btate_path=/var/Lib/nova 

ock path-/var/lock/nova 

orce dhcp release-True 

ibvirt use virtio for bridges-True 

erbose-True 

bc2 private dns show ip-True 

pi paste config-/etc/nova/api-paste.ini 

Pnabled apis-ec2,osapi compute,metadata 
rabbit 


irewall driver - nova.virt.firewall.NoopFirewallDriver 
oslo messaging rabbit] 
abbit host - controller 
penstack 
openstack # 环 境 配置 时 安装 rabbitmq 时 创建 的 openstack 用 户 名 密码 


ttp://controller:5000 
Y ttp://controller:35357 
emcached servers = controller:11211 
bur type = password 


ser domain name - default 
broject_name = service 


= True 
cserver_listen = 0.0.0.0 
ncserver proxyclient address = $my_ip 
ovncproxy base url = http://controller:6080/vnc auto.html 
glance] 
ppi_servers = http://controller:9292 
oslo concurrency] 
ock path = /var/lib/nova/tmp 


i nova. conf 配置 


ontroller:/home/zjf& openstack compute service list 
Binary Ts | zone [status | state | Updated At 
“nova-consoleauth | controller | internal | enabled | up ` | 2017-05-17717:48:09.000000 | 
nova-conductor controller 
nova-compute compute 


internal | enabled | up | 2017-05-17717:48:14.000000 
nova enabled | up | 2017-05-17T17:48:08.000000 


l 

nova-scheduler controller | internal | enabled | up | 2017-05-17T17:48:15.000000 
l 
I 


图 2.37 计算 服务 列表 


模块 安装 与 配置 完毕 。 
3.7 Networking 服务 安装 与 配置 


章节 讲述 如 何 安装 并 配置 网 络 服务 (neutron) 采 用 : 公用 云 的 网 络 模 


式 进 行 部 署 并 配置 。 


/ 


C 向 云 平台 的 物 联网 多 源 异 构 信息 融合 方法 


1 控制 节点 
Ge 之 前 ， A mamen Ap 端点 。 
将 客户 机 和 数据 库 连接 到 数据 库 服务 器 并 输入 密码 创建 neutron 数 
据 库 。 


CREATE DATABASE neutron; 


建立 数据 库 的 neutron 用 户 并 授权 (NEUTRON _ DBPASS 改 为 
n123456) ,之 后 退出 MySQL。 运 行 脚本 . admin-openrc 确保 下 一 个 命令 是 
admin 身份 运行 ,然后 创建 服务 证 书 。 

创建 neutron HP! ; 


openstack user create —domain default —password-prompt neutron # 需 要 设置 密 


码 , 密 码 可 设置 为 neutron 


对 neutron 用 户 赋 予 服务 项 目 资源 的 管理 员 权 限 ,之 后 建立 neutron Jl 
务实 体 , 如 图 2. 38 所 示 。 


rootécontroller:/Rome/zfs openstack service create --name neutron \ 
description "OpenStack Networking" network 
Mis eer =e ue 
Field 1 Value 


1 OpenStack Networking 
| True 
id | 2b9d32897d3d496b8d1117b5b57f3e77 
name | neutron 
1 
+ 


enabled 


type network 


+ 
IF 

pees 

| des: cription 
1 

| 

1 

| 

+ 


图 2.38 创建 neutron 服务 实体 

与 前 面 类 似 , 同 样 进行 API 端点 的 创建 : 

openstack endpoint create 一 region RegionOne network public https://controller: 

9696 # 在 这 里 只 列 出 其 中 一 个 API URL, 剩余 两 个 分 别 为 admin 和 internal 

创建 公有 网 络 ,选择 将 实例 直接 与 外 部 网 络 连接 ,没有 私有 网 络 .路 
吉 或 浮动 IP。 只 有 管理 员 权限 用 户 能 够 管理 网 络 设置 。 

在 这 里 首先 进行 组 件 的 安装 ,网 络 服务 器 组 件 的 部 署 涵盖 了 数据 库 、 身 
份 验证 ,消息 序列 ,拓扑 更 改 以 及 插件 。 

修改 neutron 文件 夹 中 的 neutron. conf. WA 2. 39 所 示 。 

修改 Modular Layer 2 (ML2) 插件 ,添加 与 修改 文件 /etc/neutron/ 
plugins/ml2/ml2 conf. ini, 如 图 2. 40 所 示 。 
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[DEFAULT] 
core plugin = m2 
service plugins = 
rpc backend = rabbit 
auth strategy = keystone 
notify nova on port status changes - True 
notify nova on port data changes - True 
[database] 
connection = mysql+pymysql: //neutron:n123456econtroller/neutron 
[oslo messaging rabbit] 
rabbit host - controller 
rabbit userid = openstack 
rabbit password = openstack 
[keystone authtoken] 
http://controllei 
http://controller: 


project domain name - default 
user domain name - default 
project name - service 
username = neutron 

neutron 


|a http: //controller:35357 
auth type = password 
project domain name - default 
user domain name - default 


neutron, conf 配置 


{m12] 

type drivers = flat, vlan # 启 用 flat 和 VLAN 网 络 

tenant network types = st RUE E eR 

mechanism drivers = linuxbridge # 启 用 Linuxbridge 机 制 
extension drivers = port security # 启 用 端口 安全 扩展 驱动 


[ml2_type_flat] 
flat networks = provider  ”# 配 置 公共 卡 拟 网 络 为 人 Lat 网络 


[securitygroup] 
enable ipset = True  # 启 用 ipset 增加 安全 组 规则 的 高 效 性 是 


2.40 配置 Modular Layer 2(ML2) 插 件 


配置 


linuxbridge_agent. ini, 如 图 2. 41 所 示 


Linuxbridge 代理 ,添加 或 修改 文件 /etc/neutron/plugins/ml2 


[linux bridge] 
physical interface mappings = provider:ethl #ethi 第 二 
[vxlan] 


lenable_vxlan = False 


[securitygroup] 
lenable_security_group = Truefirewall driver = neutron.agent.Linux.iptables firewall.IptablesFirewallDriver 


图 2.41 配置 Linuxbridge 代理 


配置 DHCP 代理 ,修改 DHCP 代理 文件 dhep agent. ini, 如 图 2. 42 所 示 。 


添加 或 修改 文件 /etc/neutron/metadata_agent. ini。 
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neutron.agent. linux. interface.BridgeInterfaceDriver 
neutron.agent. linux. dhcp.Dnsmasq 
Trudi 


图 2.42 配置 DHCP 代理 


在 默认 部 分 添加 如 下 代码 ; — 
rl = http://controller:9696 

Buth url = h ller:3535 
nova metadata ip = controller Sie ech e e ‘ors dorsa 


metadata proxy shared secret - 123456 project domain 


为 计算 节点 配置 网 络 服务 
打开 nova 的 配置 文件 , 
加 入 [neutron] 部 分 ,配置 访问 
启用 元 数据 代理 和 添加 密码 ,如 图 2.43 图 2.43 nova 配 置 网 络 服务 


password = neutron 


Bervice metadata proxy = True 
etadata proxy shared secret = 123456 


所 示 。 
同步 数据 库 ,重启 计算 API 服务 ,重启 Networking 服务 ,控制 节点 完成 
安装 


2. 计算 节点 

计算 节点 主要 为 了 处 理 实例 的 连接 和 安全 组 

当 安 3 匠 计 算 节 点 的 网 络 组 件 时 ,需要 对 网 络 组 件 的 配置 文件 进行 
手动 配置 ,在 这 里 计算 节点 配置 的 内 容 比 控制 节点 少 了 很 多 ,只 需要 对 
RabbitMQ 消息 队列 和 认证 服务 访问 进行 添加 内 容 即 可 ,在 这 里 为 了 节省 篇 
幅 就 不 做 详细 介绍 ,大 致 内 容 HES? 点 的 网 络 配置 相同 。 应 注意 ,由 于 计 
算 节点 不 需要 数据 库 支 持 , 在 这 里 应 该 将 


Z 


[neutron] 
Pe Zi 4b Fs ae RE url = htip://controller:9696 
database 的 内 容 进行 注释 auth_url = http://controller:35357 
oe e 8 auth type = password 
配置 Linuxbridge 代理 : project domain name = default 


user domain name - default 


与 控制 节点 的 Linuxbridge 代理 配置 相 Weeder 
同 ,不 再 一 一 叙述 了 。 d 


为 计算 节点 配置 网 络 服务 : 

添 加 或 修 改 etc/nova/nova. conf x ft. 
如 图 2. 44 所 示 。 
重启 计算 服务 ,重启 Linuxbridge 代理 。 


图 2.44 计算 节点 配置 网 络 服务 


3. 验证 操作 


验证 neutron ext-list( 确 保 此 时 为 admin 


所 示 。 


OpenStack 的 云 


用 户 身 份 运 行 此 命令 ), 妇 


reotecontrol ter fiene/z) te neutron ext-li: 


default 
availability zone 
network availability zone 
auto-allocated-topology 
binding 

agent 

subnet allocation 

dhcp agent scheduler 

tag 

external-net 

net-mtu 
network-ip-availability 
quotas 

provider 

multi-provider 
address-scope 

timestamp core 

extra dhcp opt 
security-group 
rbac-policies 
standard-attr-description 
port-security 
allowed-address-pairs 


上 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 + 


验证 neutron agent-list( 确 保 此 时 为 admin 用 户 身 份 运行 此 命令 ), 如 图 2. 


所 示 


root@controller:/home/zjf# neutron agent-list 


* + 
id 
alive | admin_state_up | binary 


+ 

4be41346-b17d-4948-9e3 
) | True 

369dc6df e9ab - 43a 

:-) | True 

d39646c0-caa6-4853 
-) | True 


37-8eb9- 9fe9bf2ea 


-93a3- 664 


) | True 


cOf9b8603faO | Linux bridge agent | 
| neutron-linuxbridge-agent | 
38 | Linux bridge agent | 
| neutron-linuxbridge-agent | 
66daa6e3cec6 | DHCP agent 

| neutron-dhcp-agent 1 
de09dobf-0106-414a-bbea-9336d1424e28 | Metadata agent 

| neutron-metadata-agent ` | 


Default Subnetpools 
Availability Zone 

Network Availability Zone 

Auto Allocated Topology Services 
Port Binding 

agent 

Subnet Allocation 

DHCP Agent Scheduler 

Tag support 

Neutron external network 
Network MTU 

Network IP Availability 

Quota management support 
Provider Network 

Multi Provider Network 

Address scope 

Time Stamp Fields addition for core resources 
Neutron Extra DHCP opts 
security-group 

RBAC Policies 
standard-attr-description 

Port Security 

Allowed Address Pairs 
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+ 
| agent_type 
uu DN ue 

+ 
compute 1 
controller | 
controller | nova 


controller | 


.46 代理 清单 


2.3.8 Dashboard 安装 与 配置 


这 部 分 认证 服务 
beten 


使 用 的 是 Apache HTTP 服务 
Web 浏览 器 可 视 化 地 访问 云 


| availability zone 
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和 Memcached 服务 ,用 
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安装 组 件 dashboard 并 且 添 加 和 修改 文件 /etc/openstack-dashboard/ 
local settings. py, 对 一 些 参数 进行 如 下 设置 : 
在 控制 节点 上 配置 horizon: 


OPENSTACK_HOST = "controller" 
允许 所 有 主机 访问 horizon: 


ALLOWED HOSTS = ['*', ] 


配置 memcached 会 话 存储 服务 : 
SESSION ENGINE = 'django. contrib. sessions. backends. cache" 
CACHES = { 

‘default’: { 


'BACKEND': ‘django. core. cache. backends. memcached. MemcachedCache', 
'LOCATION': 'controller:11211', 


} 
启用 第 3 版 认证 API: 
OPENSTACK KEYSTONE URL = "http://%s:5000/v3" % OPENSTACK HOST 
启用 对 域 的 支持 : 
OPENSTACK_KEYSTONE MULTIDOMAIN SUPPORT = True 
配置 API 版 本 : 
OPENSTACK_API_VERSIONS = { 
"identity": 3, 
"image": 2, 


"volume": 2, 


} 

horizon 在 创建 用 户 时 配置 的 默认 域 是 default: 
OPENSTACK KEYSTONE DEFAULT DOMAIN = "default" 
horizon 用 户 默 认 角 色 配 置 为 user: 

OPENSTACK KEYSTONE DEFAULT ROLE = "user" 


禁用 支持 3 层 网 络 服务 : 
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OPENSTACK_NEUTRON_NETWORK = { 


‘enable router’: False, 

‘enable quotas': False, 

'enable distributed router': False, 

'enable ha router': False, 

'enable lb': False, 

'enable firewall': False, 

'enable vpn': False, 

'enable fip topology check': False, 
} 


可 以 选择 性 地 配置 时 区 : 
TIME_ZONE = "UTC" 
重新 加 载 Web 服务 器 配置 : 


service apache2 reload 


验证 操作 
通过 使 用 端口 转发 ,将 虚拟 机 中 的 NAT 网 络 转发 到 宿主 机 的 网 络 之 
中 。 访 问 地 址 为 192. 168. 137. 18: 2224/horizon ,验证 结果 如 图 2. 47 所 示 。 


E | 19216837 382224/vorzon/autiiogn/hest« norüen smaguseo: 
| Kies c gewon Cut F an O zgegee D mhansa D amana D reiregggg. E [E Hadoop. spark ` M FREIE petty 


图 2.47 登录 界面 
登录 成 功 页 面 ,如 图 2. 48 所 示 。 
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wur Ld ma cem Actions 


2.4 实例 创建 与 启动 
2.4.1 创建 虚拟 网 络 


络 ! 


H 


创 和 


实例 的 时 候 需 


网 络 来 


到 


来 。 在 这 里 ,我 们 选择 的 是 创建 


第 一 步 ， 


An B 


rootecontroller: /home/zjf# neutron net-create 
provider:network type flat provider 


Created a new network 
Field 


admin state up 

availability zone hints 

availability zones 

created at 

description 

id 

ipv4 address scope 

ipv6 address scope 

mtu 

name 

port security enabled 

provider:network type 

provider:physical network 
Segnentation id 


tenant id 
updated at 


Value 


True 


2017-05-21T12:10 


成 功 界 面 


支撑 作用 ,因此 ,首先 创建 一 个 虚拟 网 


-个 公有 网 络 


E 1T admin-openrc 脚本 ,获取 OpenStack 的 管理 员 权 限 。 
第 二 步 , 即 创建 网 络 ， 


.49 所 示 


shared --provider:physical_network provider \ 


04 


d81967d5-65cc -4163-b5c9-3711a7 


1500 
provider 
True 
flat 
provider 


89738baf6b2940c4b277ad4cd345bSb5 
2017-05-21T12:10:04 


图 2. 49 


网 络 创建 
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ipv6 ra mode 
nane 
network id 
subnetpool id 
tenant id 
updated at 


此 时 网 络 已 成 功 创建 


2.4.2 实例 的 创建 与 启动 


为 了 方便 界面 的 友好 交互 性 , 接 下 来 的 操作 选择 使 用 宿主 机 进 和 


转发 的 形式 ,在 宿主 机 上 使 用 浏览 器 访问 horizon WI. 
例 ,具体 过 程 如 区 54 所 示 


详细 信息 BUG 始 主 TIT ALC edite 
Sr ` 


Instance Name * 
flavor * 


网 络 
Ee 


安全 组 


可 用 区 域 


nova 


Count * 
AN 


配置 
元 数据 


X 取消 


命名 与 选择 实例 数量 


由 
E 


端口 


首先 ,选择 创建 实 


t (10 Max 
1096 
Ament Usage 
1 Added 
9 Remaining 
Te E 


y 
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启动 实例 
mace 
* 
flavor * 
网 络 
"T 
安全 组 
emm 
RR 
ER 
启动 实例 
详细 信息 
flavor 
m 
MRO 
安全 组 
m 
p 
TRR 


x 


e 


实例 源 是 用 来 创建 实例 的 模板 以 使 用 现 有 的 实例 、 映 像 或 卷 的 快照 ( 如 果 已 启用 ) 。 
您 也 可 以 选择 通过 创建 新 卷 来 使 用 持久 的 存储 器。 


选择 引导 源 
em : 
Allocated 
名 称 已 更 新 大 小 类 型 可 见 
> cimos SPO 1267MB Qcow2 公有 |- 
ESO ae 
Q Click here for filters. | 
Sp: 已 更 新 大 小 类 型 可 见 
LETARA 


图 2.52 选择 操作 系统 镜像 


其 
e 
flavor 管理 实例 的 计算 、 内 存 和 存储 容量 的 大 小 。 
Allocated 
名 称 VcPU 数 — RAM 。 磁盘 总 计 公有 
> mina 1 64MB 16GB z - 
va 有 四 ae 个 
Q Click here for filters. 
名 称 VCPU 数 — RAM^ 磁盘 总 计 ”公有 
> mi tiny 1 512MB 16GB 是 * 
> mismal 1 2GB 20GB 是 + 
> mimedium 2 4GB 40GB 是 + 
> milage 4 8GB 80GB 是 + 
> mixage 8 16GB 160GB = + 


2.53 选择 实例 的 配置 
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启动 实例 x 


seee e 
详细 信息 在 云 中 ， 网 络 为 实例 提供 通信 渠道 
源 vAlocated @ 从 下 面 列 示 的 内 容 中 选择 网 络 。 

网 络 子 网 已 关联 HSH BERKS 状态 

flavor 

网 络 " $1 》 provider provider u 上 移 活动 一 
RARO «580 E 
安生 组 Q Click here for filters. 
密 钥 对 

网 络 ^ — 子 网 已 关联 共享 的 管理 员 状态 状态 

RATARA 
元 数据 


图 2.54 选择 网 络 
之 后 启动 实例 ,如 图 2. 55 所 示 。 


实例 
实例 名字 = ' me 局 启动 实例 ZE More Actions - 
O “实例 名 称 。 映像 名 称 re 大 小 密 钥 对 RS OA FS 。 电源 状态 ` 创建 以 来 的 时 间 Actions 
O test arros 10015 minano - 活动 mw ”无 正在 运行 0 分 钟 eem |- 
Displaying 1 item 


图 2.55 实例 列表 


选择 进入 实例 之 中 ,在 这 里 ,由 于 使 用 了 NAT 网 络 ,虚拟 机 对 宿主 机 来 
说 是 不 可 见 的 ,如 图 2. 56 所 示 。 

因此 为 了 解决 这 个 问题 ,我们 依旧 采取 端口 转发 ,查找 到 实例 对 应 的 端 
口号 ,之 后 选择 将 实例 的 TP 地 址 和 端口 号 转发 到 宿主 机 中 , 即 可 实现 对 实例 
的 访问 ,如 图 2. 57 所 示 。 

到 目前 为 止 , 本 次 的 云 平台 已 经 成 功 部 署 完毕 ,并 进行 实例 的 创建 与 运 
行 。 虽然 功 能 上 还 有 一 点 缺陷 .但 是 核心 功能 已 经 实现 。 


/ 
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controller 的 服务 器 DNS 地 址 


图 2.56 控制 台 


图 2.57 实例 成 功 启动 并 运行 


2.5 错误 及 解决 方案 
2.5.1 问题 归 类 


1. 操作 系统 问题 
(1) 在 进行 安装 Ubuntu 系统 的 时 候 , 曾 经 尝试 使 用 手动 分 区 模式 将 系 
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统 进行 分 区 。 但 是 ,在 进行 Update 操作 时 出 现 了 一 个 /boot 空间 不 足 的 情 
况 ,导致 更 新 的 内 核 无 法 安装 。 

(2) 系统 在 更 新 的 时 候 , 无 法 找到 更 新 源 的 问题 。 

2. OpenStack 安装 问题 

(1) 安装 OpenStack 的 各 个 模块 的 时 候 会 出 现 一 些 由 于 玻 忽 产 生 的 问 
题 ,从 而 导致 在 模块 安装 完毕 ,进行 验证 阶段 出 现 错误 。 

(2) Horizon 安装 完毕 之 后 找 不 到 客户 机 与 之 交互 ,或 者 是 无 法 刷新 出 
页 面 。 


2.5.2 解决 方案 


1. 操作 系统 的 解决 方案 

(1) 如 果 出 现 /boot 空间 不 足 可 以 选择 删 掉 过 时 的 内 核 释 放空 间 , 之 后 
安装 新 的 内 核 ; 或 者 在 安装 系统 的 时 候选 择 自动 分 区 默认 不 创建 /boot 区 。 
经 测试 ,更 新 无 任何 问题 。 

(2) 如 果 在 执行 apt-get update 命令 的 时 候 出 现 了 Failed to fetch 的 错 
误 ,可 以 选择 将 Linux 的 更 新 源 设置 为 国内 的 镜像 站 点 ,一般 是 不 会 出 现 问 
题 的 ,而 且 更 新 速度 也 会 很 快 。 

2. OpenStack 的 解决 方案 

(1) 如 果 出 现 模块 的 安装 错误 ,大 多 数 都 是 配置 环节 出 了 一 些 问题 。 此 
时 ,可 以 查看 log 日 志文 件 ,很 方便 地 找到 出 错 的 问题 ,并 将 其 解决 。 
Ubuntu 的 日 志文 件 一 般 都 存放 在 /vat/log/ 文 件 夹 里 。 

(2) 无 法 找到 其 他 的 机 器 来 打开 Horizon 平台 。 在 这 里 有 两 个 办 法 :第 
一 种 ,使 用 虚拟 机 软件 创建 一 个 新 的 虚拟 机 ,用 来 当 作 客户 机 使 用 ,使 用 的 
网 卡 和 OpenStack 的 NAT 网 卡 相 同 ;第 二 种 ,通过 使 用 端口 转发 机 制 ,将 
10. 0. 0. 11:80 端口 转发 到 宿主 机 ,同时 宿主 机 分 配 一 个 闲置 端口 ,通常 选择 
范围 是 2000~5000。 例 如 ;宿主 机 的 IP 地 址 为 192. 168. 137. 18 ,现在 就 可 
以 为 它 分 配 一 个 端口 号 为 2224。 这 样 , 在 宿主 机 的 浏览 器 上 输入 https:// 
192. 168. 137. 18::2224/horizon 就 可 以 访问 云 平台 的 GUI 界面。 如 果 打 不 
开 云 平台 Web 页 面 或 者 服务 器 拒绝 访问 ,可 以 通过 查看 /var/log/apache2/ 
文件 夹 里 的 日 志文 件 查 找 错 误 。 
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2.6 本 章 小 结 


本 章 所 配置 的 云 平台 是 基于 OpenStack Mitaka 的 安装 文档 进行 部 署 ， 
XT OpenStack 的 自动 安装 并 没有 详细 叙述 ,因为 自动 安装 差不多 是 一 键 
安装 ,并 不 知道 其 中 安装 的 具体 过 程 ,如 果 出 错 ,程序 员 无 可 奈何 。 因 此 ,本 
章 选 择 了 手动 部 署 一 个 云 平台 ,包含 了 最 基本 、 最 核心 的 内 容 。 

感谢 郑 杰 飞 同学 在 本 章 中 配置 云 计算 平台 所 做 的 工作 。 
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基于 本 体 的 多 源 异 构 信 息 
融合 体系 结构 研究 


随 着 计算 机 技术 的 快速 发 展 , 越 来 越 多 的 客观 事物 、 感 知 智能 设备 被 接 
入 互联 网 ,大 量 的 数据 被 传输 和 存储 。 客 观 事物 与 互联 网 的 连接 及 通信 、 大 
量 感知 数据 的 收集 和 处 理 ,其 主要 的 目标 是 实现 对 动态 变化 的 客观 环境 更 
好 地 理解 ,实现 综合 智慧 服务 。 只 有 具备 有 效 集成 和 融合 这 些 互 联网 上 的 
数据 信息 , 才 有 可 能 实现 综合 智慧 服务 的 目标 。 针 对 云 计算 环境 下 的 数据 
言 息 多 源 异 构 性 的 特点 ,研究 多 源 异 构 数据 信息 融合 的 体系 结构 框架 ,对 云 
计算 环境 下 的 信息 的 处 理 流 程 及 规范 具有 重要 的 启发 和 引导 作用 。 


3.1 数据 采集 及 数据 融合 


数据 采集 及 数据 融合 已 经 成 为 当今 数据 技术 研究 领域 的 前 沿 问题 ,在 
科学 与 技术 的 许多 分 支 学 科 ,数据 获取 及 数据 分 析 是 极其 重要 的 。 在 大 多 
数 情况 下 ,各 种 各 样 的 原因 导致 数据 以 多 样 的 形式 存储 在 不 同 的 地 方 ,商业 
价值 很 低 而 且 给 应 用 带 来 了 意 想 不 到 的 困难 。 如 果 在 决策 过 程 中 ,处 理 不 
包含 具有 可 用 信息 的 所 有 可 能 的 信息 源 ,那么 会 造成 结果 不 正确 或 者 是 不 
完整 的 ,因此 ,迫切 需要 用 于 采集 多 个 源 的 可 用 信息 的 处 理 过程 。 在 实践 过 
程 中 ,数据 采集 及 数据 融合 过 程 是 非常 具有 挑战 性 的 ,原因 主要 有 : 
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(1) 信息 所 储存 的 地 理 位 置 不 同 , 且 具 有 自治 性 。 各 个 独立 的 数据 源 是 
分 布 在 不 同 的 地 理 位 置 的 ,而 且 这 些 数据 源 具 有 不 同 的 获取 方式 ,为 了 从 这 
些 数 据 源 中 集成 及 融合 数据 ,对 于 数据 源 中 允许 的 操作 和 操作 模式 要 有 深 
刻 的 认识 。 

(2) 这 些 数据 源 在 结构 和 意义 上 有 巨大 差别 ,每 个 数据 源 即便 是 来 自 于 
同一 个 应 用 领域 ,它们 的 存储 模式 不 同 ,而 且 结 构 也 不 尽 相 同 。 例 如 ,在 物 
联网 的 感知 环境 下 的 数据 ,各 个 厂家 的 传感器 收集 的 数据 格式 差距 很 大 , 目 
前 一 直 没 有 定义 统一 的 格式 标准 ,我 们 必须 随时 根据 各 个 数据 包 的 不 同 格 
式 , 解 决 语义 和 语法 上 的 差异 性 ,然后 再 集成 并 融合 数据 源 。 

(3) 数据 源 的 信息 是 海量 的 ,而 且 是 动态 的 。 因 此 ,收集 所 有 数据 到 一 
个 集中 的 位 置 来 分 析 已 经 变 得 不 可 行 ,特别 是 传感器 数据 具有 海量 性 和 异 
构 性 这 样 的 特征 。 

数据 采集 及 数据 融合 的 主要 目的 是 为 用 户 提供 统一 的 无 缝 请 求 接口 ， 
用 户 提 出 请 求 后 ,数据 采集 及 融合 系统 负责 分 析 这 些 信 息 从 哪里 取得 ,并 如 
何 提取 出 来 呈现 给 用 户 。 数 据 采集 和 数据 融合 系统 允许 用 户 看 见 全 局 视 
图 ,仿佛 从 单一 的 数据 源 处 访问 信息 。 全 局 视图 复制 隐藏 多 数据 源 的 异 构 
性 和 自治 性 特征 。 


3.1.1 数据 集成 的 主要 方法 及 研究 现状 


随 着 信息 化 建设 的 飞速 发 展 ,企业 发 展 呈现 出 地 域 分 散 、 管 理 又 相对 集 
中 的 发 展 趋势 ,造成 了 各 个 部 门 之 间 信 息 共享 困难 、 大 量 “ 信 息 孤 岛 " 存 在 的 
现象 ,各 区 域 信息 在 结构 .存储 模型 及 格式 上 存在 很 大 的 差异 。 用 户 人 迫切 需 
要 将 这 些 分 散 信息 实现 共享 和 互联 ,因此 ,数据 集成 技术 的 研究 就 成 了 一 个 
热点 问题 。 

数据 集成 着 眼 于 对 各 种 分 布 式 异 构 数据 源 的 数据 抽取 、 数 据 变换 、 数 据 合 
并 与 融合 等 问题 研究 ,建立 一 个 相对 静态 的 集成 环境 ,对 用 户 提供 统一 的 信息 
存 取 接 口 。 目 前 常用 的 数据 集成 方法 有 虚拟 的 数据 集成 方法 和 数据 仓库 方 
法 。 无 论 哪 一 种 集成 方法 ,本 质问 题 是 解决 数据 在 语法 .语义 上 的 异 构 问题 。 

1， 异 构 数 据 集成 主要 方法 综述 

数据 集成 是 数据 融合 的 初级 阶段 ,传统 的 数据 集成 方法 分 为 两 种 

CD 模式 集成 方法 ,利用 自 定义 的 全 局 模式 提供 一 个 所 有 的 异 构 数据 源 
的 虚拟 视图 ,数据 仍然 保留 在 数据 源 处 。 模式 集成 方法 具有 灵活 性 和 典型 


第 3 章 基于 本 体 的 多 源 异 构 信 息 融合 体系 结构 研究 


性 , 它 是 数据 集成 的 常用 方法 。 

(2) 物化 方法 ,主要 是 指数 据 仓 库 方法 。 它 在 查询 前 将 各 个 数据 源 的 数 
据 复制 到 统一 的 数据 仓库 中 ,其 优点 是 容易 获得 较 好 的 集成 查询 性 能 ,缺点 
是 不 能 灵活 地 适应 需求 变化 。 

1) 基于 模式 的 数据 集成 方法 

基于 模式 的 数据 集成 方式 是 人 们 最 早 采用 的 数据 集成 方法 。 模 式 集成 
的 基本 思想 是 提供 一 个 全 局 模式 上 的 虚拟 视图 ,使 得 用 户 可 以 按照 全 局 模 
式 透 明 地 访问 各 个 异 构 数据 源 的 数据 。 全 局 模式 描述 了 数据 源 的 语法 、 语 
义 和 操 作 等 ,用 户 直 接 在 全 局 视图 上 提交 请 求 ,由 集成 系统 处 理 这 些 请 求 ， 
将 其 转换 为 针对 各 个 异 构 数据 源 的 且 可 以 在 本 地 执行 的 子 查询 。 模 式 集成 
过 程 将 异 构 数 据 源 数据 模式 做 适当 的 转换 后 ,映射 为 全 局 模式 。 全 局 模式 
与 数据 源 模式 之 间 映 射 的 建立 方式 有 两 种 : 全 局 视图 法 和 局 部 视图 法 Ps39 。 
全 局 视图 法 (Global-as-View, GAV) 中 的 全 局 模式 是 在 数据 源 视 图 基础 上 
建立 的 , 它 是 由 一 系列 对 应 于 各 个 异 构 数 据 源 的 元 素 组 成 ,表示 该 数据 源 上 
的 操作 和 数据 结构 ; 局 部 视图 法 (Local-as-View,LAV) 先 建立 全 局 模式 , 然 
后 在 全 局 模式 的 基础 上 按 一 定 的 规则 推理 得 到 数据 源 的 数据 视图 。 

(1) 联邦 数据 库 。 

联邦 数据 库 是 早期 采用 的 一 种 模式 集成 方法 ,其 系统 结构 如 图 3. 1 所 
示 。 在 联邦 数据 库 中 ,数据 源 之 间 共 享 部 分 数据 模式 ,形成 一 个 联邦 模式 。 
按照 集成 度 分 类 ,联邦 数据 库 系统 可 以 分 为 松散 耦合 联邦 数据 库 系统 和 紧 
密 耦 合 联邦 数据 库 系 统 。 松 散 耦 合 联邦 数据 库 系 统 没 有 全 局 模式 , 它 提 供 
统一 的 查询 语言 ,由 用 户 去 解决 异 构 问 题 。 其 优点 是 数据 源 动态 性 能 好 , 自 
治 性 强 ,集成 系统 不 需要 维护 全 局 模式 。 紧 密 耦 合 联邦 数据 库 使 用 统一 的 
全 局 模式 ,将 各 个 数据 源 上 局 部 的 数据 模式 映射 到 全 局 数据 模式 上 ,这 种 方 
法 的 集成 度 较 高 ,用户 参与 相对 较 少 。 

(2) 中 介 器 /包装 器 集成 方法 。 
中 介 器 /包装 器 集成 方法 是 现 阶段 比较 流行 的 集成 方法 ,也 叫 中 间 件 集 
成 方法 ,如 图 3. 2 所 示 。 该 方法 由 一 个 中 介 器 和 多 个 包装 器 组 成 。 中 介 器 位 
于 数据 源 层 和 应 用 层 之 间 ,向 上 为 访问 集成 系统 数据 的 应 用 提供 统一 的 数 
据 模 式 和 通用 接口 ,向 下 协调 各 个 异 构 数 据 源 。 中 介 器 主要 集中 为 异 构 数 
据 源 提供 一 个 高 层次 的 检索 服务 。 与 紧密 耦合 联邦 数据 库 系 统一 样 , 中 介 
器 方式 同样 使 用 全 局 数据 模式 ,通过 中 介 器 提供 的 统一 的 逻辑 视图 来 隐藏 
底层 数据 细节 。 
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图 3.2 基于 中 间 件 的 数据 集成 模型 


G. Wiederhold 最 早 给 出 了 基于 中 介 器 /包装 器 的 集成 方法 构架 。 中 介 
器 /包装 器 方法 不 仅 可 以 集成 结构 化 数据 源 : 也 可 以 集成 半 结 构 化 或 非 结构 
化 的 数据 源 中 的 信息 。 斯 坦 福 大 学 Garcia-Molina 等 人 开发 的 TSIMMIS 就 
是 一 个 典型 的 中 间 件 集成 系统 。 

2) 基于 物化 的 数据 集成 方法 

物化 方法 数据 集成 技术 中 , 比较 典型 的 代表 是 数据 仓库 9 。 该 方法 将 
各 个 数据 源 的 数据 复制 到 同一 处 ,使 得 用 户 可 以 像 访问 普通 数据 库 一 样 访 
问 数据 仓库 。 与 传统 的 操作 型 数据 库 不同 的 是 ,数据 仓库 的 设计 是 面向 主 
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题 的 ,其 中 存储 的 一 般 是 历史 数据 ,设计 时 人 为 引入 宛 余 , 使 用 反 范 式 的 方 
式 设计 。 图 3. 3 给 出 了 一 个 典型 的 数据 仓库 应 用 体系 结构 。 


二 和 Visualization 


K Metadata 1 可 视 化 
! Repository 1 
' 元 数据 库 1 
L 1 
1 i) 
其 他 外 部 数据 源 | Extract ABA | ! 
Clean 清洗 d I 
Transform 转换 SERVICE 
Load mek /i 服务 OLAP 
Refresh 刷新 ! | 
i — | W 
H DW £ 4 
1 数据 仓库 I - = 
| “ 
en ! i Data Mining 
OLTP 数 据 源 1 rro 
图 3.3 典型 的 数据 仓库 应 用 体系 结构 
数据 仓库 具有 四 个 基本 性 质 : 
(1) 主题 性 。 


数据 仓库 中 数据 是 针对 特定 客观 分 析 领 域 组 织 的 。 这 些 特定 客观 分 析 
领域 称 之 为 主题 。 主 题 是 进行 数据 归 类 的 标准 。 它 不 是 无 序 的 泛泛 的 数 
据 集合 ,而 是 按 主题 的 分 析 而 组 织 起 来 的 特定 数据 集合 。 

(2) 时 变性 。 

数据 仓库 的 数据 内 容 随 着 时 间 不 断 变化 ,具体 表现 为 : 需要 转 存 旧 的 数 
据 内 容 ; 不 断 添加 新 的 数据 内 容 ; 需要 按照 时 间 段 对 仓库 中 的 有 关 综 合 数 
据 进行 汇总 ,或 者 一 定 的 时 间 段 进行 抽样 。 

(3) 集成 性 。 

数据 仓库 中 的 数据 是 从 原先 的 数据 库 中 按 一 定 的 主题 和 规则 抽取 出 来 
的 。 数 据 仓库 中 每 个 主题 对 应 的 数据 ,来 源 于 不 同 的 数据 库 中 ,它们 之 间 很 
可 能 存在 宛 余 或 冲突 想象 ; 不同 的 事务 处 理 系统 的 数据 都 与 不 同 的 应 用 逻 
辑 关联 ,所 以 ,它们 之 间 存 在 复杂 的 异 构 性 ; 数据 仓库 中 的 综合 数据 需要 在 
源 数据 基础 上 进一步 加 工 。 鉴 于 以 上 几 点 原因 ,数据 在 进入 数据 仓库 之 前 ， 
必须 经 过 清洗 和 转换 。 

(4) 只 读 性 。 

数据 仓库 的 数据 一 般 是 指 一 段 时 间 内 企业 的 历史 数据 。 数 据 仓库 中 的 
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数据 是 不 同时 间 点 的 数据 快照 的 集合 ,基于 这 些 快照 进行 数据 统计 、 重 组 和 
汇总 等 ,而 不 是 联机 处 理 系统 中 的 实时 数据 。 终 端 用 户 所 涉及 的 操作 主要 
是 数据 查询 (只 读 操作 ) 。 
由 于 数据 仓库 的 投资 费用 大 、 实 施 周 期 长 .实施 风险 大 等 原因 限制 了 其 
在 中 小 型 企业 中 的 应 用 。 

3) 基于 SOT 的 数据 集成 方法 

面向 服务 的 集成 (Service-Oriented Integration,SOI) 是 企业 数据 集成 发 
展 的 新 方向 , 它 可 以 定义 为 : 以 服务 为 中 心 的 体系 构架 中 ,通过 服务 的 交互 
来 集成 各 个 企业 的 信息 资源 ,如 分 布 的 数据 或 者 应 用 ,帮助 企业 各 部 门将 已 
有 的 零散 的 系统 集成 起 来 , 尽 可 能 重用 已 有 的 服务 或 业务 流程 。 

面向 服务 的 集成 在 Web Service 框架 下 ,使 用 Web 服务 协议 ,对 异 构 数 
据 源 创建 Web 服务 或 服务 集 ,使 用 WSDL 描述 语言 来 描述 ,并 向 UDDI 注 
册 中 心 进行 注册 。 每 个 Web 服务 或 服务 集 对 外 提供 可 以 调用 的 服务 接口 ， 
用 户 无 需 知道 服务 内 部 是 如 何 实 现 的 。 

SOI 继 承 并 发 展 了 传统 的 企业 应 用 集成 (Enterprise Application 
Integration, EAD ,使 用 SOL 的 优势 在 于 : 

CD 实现 技术 和 位 置 的 透明 。 服 务 提供 者 的 位 置 和 所 实现 的 技术 对 用 
户 来 说 是 屏蔽 的 ,不 需要 固定 的 服务 提供 者 。 

(2) 定义 了 良好 的 基于 标准 的 接口 技术 ,使 得 服务 描述 易于 理解 。 

(3) 灵活 性 ,可 重用 性 。 只 要 服务 接口 不 变 , 服 务 提供 者 和 服务 请 求 者 
都 可 以 变化 而 不 影响 彼此 。 

(4) 渐进 式 集成 。SOI 是 将 若干 已 有 的 应 用 或 数据 转换 为 服务 形式 来 
进行 集成 。 随 着 项 目的 进行 ,可 重用 的 数据 服务 越 来 越 多 ,从 而 使 新 的 集成 
需求 可 以 通过 已 有 的 服务 来 满足 。 由 于 服务 的 灵活 性 ,即使 已 有 的 应 用 迁 
移 至 新 的 平台 ,也 不 会 影响 依赖 这 个 应 用 所 提供 功能 的 其 他 应 用 ,从 而 可 以 
保证 业务 的 灵活 性 。 

2. 异 构 数 据 集成 系统 的 现状 与 发 展 趋势 

文献 “中 提出 了 一 个 访问 异 构 数 据 源 的 框架 ,该 框架 使 用 XML 方案 作 
为 规范 数据 模型 来 处 理 请 求 以 及 集成 来 自 异 构 数据 源 的 数据 。 为 了 克服 被 
集成 数据 源 的 语义 异 构 性 ,从 而 便于 创建 一 个 统一 的 异 构 数据 源 接口 ,作者 
在 文献 中 中 开发 了 一 个 视图 集 以 及 从 现存 数据 库 到 XML 数据 映射 ,将 网 
络 、 关 系数 据 库 转换 成 XML 视图 。 文献 中 基于 请 求 处 理 中 心 (Query 
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Processing Center, QPC) 的 异 构 数 据 库 请 求 方式 的 研究 中 ,作者 使 用 了 基于 
虚拟 视图 的 方式 ,该 方式 可 以 将 所 有 用 户 和 数据 库 连 接 到 QPC, 组 成 一 个 星 
型 拓扑 结构 ,根据 用 户 请 求 ,QPC 提供 请 求 服务 , 源 数 据 库 管理 模式 能 够 使 
数据 库 方便 地 加 入 和 删除 ,就 像 开 关 设 备 一 样 。 当 一 个 请 求 被 QPC 接收 ， 
QPC 将 检查 它 的 正确 性 ,分 解 成 几 个 子 请 求 ,并 把 它们 转化 成 数据 库 格式 ， 
融合 成 最 终结 果 并 发 送 给 用 户 。 基 于 请 求 处 理 中 心 的 异 构 数据 库 请 求 方式 
中 指出 传统 的 两 种 方式 : 为 每 个 数据 库 提供 一 个 接口 ; 把 所 有 数据 库 集成 
为 一 个 。 文 献 [ 当 指出 了 这 两 种 方式 的 不 合适 之 处 ,并 提出 了 虚拟 视图 的 方 
式 , 虚 拟 视图 可 以 集成 更 多 的 数据 库 , 虚 拟 视图 方式 使 得 数据 储存 地 点 保持 
不 变 , 集 成 系统 只 需要 提供 一 个 虚拟 集成 实体 以 及 为 该 视图 提供 请 求 处 理 
机 制 。 

模式 集成 方法 透明 度 高 ,可 以 为 用 户 提供 全 局 视图 及 统一 的 查询 接口 ， 
但 是 该 方法 需要 系统 有 较 好 的 网 络 性 能 。 物 化 法 数据 集成 在 用 户 使 用 某 数 
据 源 之 前 ,预先 将 其 复制 到 数据 仓库 中 ,这 种 方法 大 大 提高 了 集成 系统 处 理 
用 户 请 求 的 效率 ,但 是 该 方法 实时 性 较 差 ,不 能 保证 用 户 获 得 的 数据 与 数据 
源 的 数据 保持 一 致 。 面 向 服务 的 方法 为 每 个 数据 源 建 立 服 务 , 系 统 耦 合 性 
低 ,数据 源 增 删 容易 ,但 是 当 大 文件 传输 时 ,服务 的 效率 会 明显 降低 。 各 种 
集成 方法 各 有 其 优 缺 点 和 适用 范围 , 随 着 研究 的 深入 , 越 来 越 多 的 研究 者 倾 
向 于 融合 这 些 技术 ,尽量 做 到 互补 长 短 , 从 而 为 企业 提供 更 为 高 效 的 数据 
管理 。 

(1) 虚拟 数据 集成 与 数据 仓库 技术 融合 。 

虚拟 数据 集成 方法 一 个 重要 的 缺点 就 是 每 次 查询 都 要 重新 计算 和 获取 
分 布 的 数据 源 。 应 用 数据 仓库 技术 来 优化 虚拟 数据 集成 方法 的 一 个 思 
将 常用 的 虚拟 数据 查询 进行 预计 算 处 理 。 

(2) 虚拟 数据 集成 ,数据 仓库 技术 与 其 他 数据 集成 技术 的 融合 。 

除了 虚拟 数据 集成 技术 、 数 据 仓 库 技术 以 外 ,也 出 现 了 一 些 新 的 ,与 集 
成 系统 的 构建 密切 相关 的 技术 。 例 如 ,文献 [2*' 汪 采用 移动 Agent 作为 一 种 
辅助 计算 用 来 提高 集成 系统 的 性 能 。 这 些 技术 一 般 不 能 作为 构建 集成 系统 
的 主导 技术 。 

(3) 虚拟 数据 集成 方法 与 语义 Web 技术 的 融合 。 

文献 C9 认 为 ,未 来 虚拟 数据 集成 系统 将 会 大 量 采 用 语义 Web ER. 
Web 本 体 语 言 OWL 强调 了 基于 概念 术语 的 体系 结构 来 表达 数据 的 语义 ， 
OWL 与 资源 描述 框架 RDF 将 会 成 为 形式 语义 的 主要 表达 语言 。 
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基于 以 上 的 分 析 , 可 以 从 两 个 方法 总 结 数据 集成 系统 未 来 的 发 展 趋势 : 
融合 现 有 的 技术 ,产生 新 的 、 综 合 型 的 数据 集成 方法 ,必然 使 得 数据 集成 系 
统 更 健壮 、 可 伸缩 性 、 智 能 性 、 灵 活性 ; 数据 集成 正在 由 传统 的 紧密 耦合 的 模 
式 集成 方法 向 低 风 险 、 松 散 艳 合 、 服 务 型 的 数据 集成 方法 过 渡 , 如 图 3. 4 
所 示 。 


SOA 


全 一 7 人 zí 


点 对 点 数据 虚拟 数据 集成 | | 面向 服务 的 数据 集 | ”| 企业 服务 总 线 
集成 (Point- (Virtual 成 (Service-Oriented (enterprise 
to-point) Intergration) Intergration) service bus) 


图 3.4 松散 耦合 集成 的 模式 图 谱 


3. 利用 数据 融合 技术 处 理 异 构 数据 

数据 集成 主要 是 解决 异 构 数据 源 的 模式 上 的 语义 差别 ,为 用 户 提 供 全 局 
的 一 致 的 语义 视图 ,但 它 忽 略 了 实例 级 数据 的 冲突 问题 ,其 结果 只 是 通过 简 
单 的 排序 算法 处 理 , 需 要 用 户 按 照 信息 排序 进行 浏览 ,人 工 查 找 正确 信息 ,而 
信息 本 身 并 没有 发 生 任何 改变 。 数 据 集成 过 程 一 般 可 划分 为 三 个 步骤 ， 

(1) 数据 源 的 模式 集成 ; 

(2) 数据 的 抽取 与 清理 ; 

(3) 数据 的 合并 。 

数据 /知识 融合 区 别 于 一 般 数据 集成 的 地 方 主要 在 于 数据 集成 处 理 数 
据 内 涵 的 不 一 致 ,而 数据 融合 侧重 于 解决 数据 外 延 的 不 一 致 性 。 数 据 集成 
的 结果 是 抽取 到 的 数据 的 集合 ,而 数据 融合 侧重 于 产生 新 的 数据 。 作 为 数 
据 集成 的 高 级 阶段 ,数据 融合 对 分 布 式 数 据 源 中 的 信息 不 一 致 现象 进行 处 
理 , 将 多 个 冲突 的 实例 信息 统一 为 一 个 知识 体 。 


3.1.2. 信息 融合 的 基本 理论 
1. 信息 融合 的 定义 


信息 融合 "9 一 般 定 义 为 : 利用 计算 机 的 计算 能 力 对 多 个 传感器 采集 
的 具有 时 空 特征 的 数据 在 一 定 规则 指导 下 进行 的 自动 综合 处 理 , 以 实现 特 
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定 任务 的 全 面 的 推理 和 评估 的 处 理 过 程 。 本 书 所 研究 的 信息 融合 的 基础 设 
施 是 多 传感器 及 网 络 ,应 用 对 象 为 多 传感器 数据 信息 ,过 程 是 综合 分 析 , 目 
标 是 符合 特定 要 求 的 推理 和 评估 。 即 ,信息 融合 就 是 将 通过 采集 获取 的 多 
源 数据 信息 进行 综合 分 析 , 保 证 一 定 的 数据 质量 的 情况 下 提高 对 推理 和 评 
估 结 果 的 可 靠 性 ,从 而 发 现 某 些 事物 之 间 的 联系 。 综 合 前 人 定义 ,信息 融合 
可 理解 为 在 一 定 的 模型 下 ,运用 数学 方法 和 技术 工具 ,通过 整合 多 源 异 构 信 
息 ,从 而 获取 高 品质 的 有 用 知识 ,为 决策 提供 服务 。 

目前 , 绝 大 多 数 的 科技 进步 都 是 模拟 人 类 器 官 实现 智能 化 信息 处 理 。 
信息 融合 也 是 基于 这 样 的 目的 为 人 们 所 认识 .学 习 和 研究 。 如 视频 摄像 头 
是 对 人 的 眼睛 具有 的 视觉 能 力 进行 延伸 ,声音 传感器 是 对 人 的 耳 打 具有 的 
听觉 能 力 进行 延伸 ,各 类 气体 传感器 是 对 人 的 鼻子 具有 的 嗅觉 能 力 进行 延 
伸 ,压力 传感器 .接近 传感器 等 是 对 人 的 皮肤 具有 的 触角 能 力 的 延伸 。 也 就 
是 说 ,对 客观 事物 感知 而 部 署 的 传感器 系统 ,它们 对 客观 事件 具有 类 人 的 感 
知 能 力 , 甚 至 更 加 强大 的 感知 能 力 。 整 个 传感器 系统 的 管理 中 心 和 数据 中 
心 就 相当 于 人 的 大 脑 , 根 据 这 些 感知 能 力 获取 的 信息 ,结合 已 有 的 知识 ,对 
客观 环境 进行 认 知 ,并 对 环境 中 客观 事物 的 发 展 进行 推理 和 预测 。 

2. 信息 融合 的 分 类 

信息 融合 理论 研究 涉及 众多 的 理论 基础 ,根据 数据 源 之 间 的 关系 5 ， 
可 以 将 信息 融合 分 为 : 

COD) 互补 融合 : 对 多 角度 、 多 方面 、 多 方法 的 观测 所 采集 到 的 数据 信息 
进行 累加 ,得 到 比 单一 方法 或 角度 更 丰富 、 更 完整 的 数据 信息 的 过 程 。 

(2) 宛 余 融 合 : 当 多 个 数据 源 提供 了 相同 或 相近 的 数据 信息 时 ,融合 宛 
余 的 数据 信息 ,从 而 得 到 较为 精练 的 数据 信息 的 过 程 。 

(3) 协同 融合 ; 多 个 独立 数据 源 所 提供 的 数据 信息 ,进行 综合 的 分 析 ， 
产生 一 个 更 加 复杂 更 加 准确 的 新 的 数据 信息 的 过 程 。 

根据 数据 信息 抽象 层次 关系 ,可 以 将 信息 融合 分 为 : 

(1) 数据 级 融合 : 直接 对 观测 原始 数据 应 用 融合 计算 ,由 于 底层 数据 包 
含 最 多 的 信息 量 ,使 其 融合 结果 失真 度 小 ,融合 结果 质量 更 佳 。 但 由 于 是 原 
始 数据 ,其 中 存在 大 量 元 余 信 息 和 不 确定 性 ,融合 计算 较为 困难 。 它 是 低层 
次 的 融合 。 

(2) 特征 级 融合 : 首先 ,完成 对 观测 原始 数据 特征 的 选择 ,而 后 对 基于 
这 些 特 征 进行 综合 性 分 析 , 特 征 级 融合 可 通过 特征 的 约 简 来 实现 对 数据 的 
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化 简 , 利 于 高 效 计算 ,属于 融合 的 中 间 层 次 。 

(3) 决策 级 融合 : 根据 特定 原则 所 实现 的 高 层次 的 优化 决策 推理 过 程 。 

从 算法 角度 大 致 可 以 分 为 两 个 大 类 5 : 概率 统计 方法 与 人 工 智能 方 
法 。 其 中 概率 统计 方法 主要 是 以 Bayes?) HABIBI EWR: 人 工 智能 
方法 中 Bayes flit 0152 .D-S 证 据 推理 中、 模糊 理论 7] pH ep dg 001 e 
整个 信息 融合 算法 的 85 26 ,而 支持 向 量 机 5 加 GE FE LEO 、 粗 糙 集 [5 等 
机 器 学 习 方法 也 已 经 在 信息 融合 中 应 用 。 

1) 概论 统计 方法 

Bayes 公式 提供 了 事件 的 先 验 概论 ,给 定 事 件 的 先 验 概论 .事件 条 件 下 
观测 的 条 件 概 论 以 及 时 间 的 后 验 概率 三 者 之 间 的 关系 表达 式 。 基 于 Bayes 
理论 的 信息 融合 技术 根据 观测 的 证 据 来 更 新 时 间 发 生 的 概率 , 即 用 新 的 消 
息 来 更 新 时 间 的 先 验 概论 实现 信息 的 融合 ,主要 包括 基于 Bayes 理论 的 多 传 
感 器 决策 信息 融合 性 吕 以 及 基于 Bayes 网 络 的 信息 融合 SH。 基 于 Bayes H 
论 的 多 传感器 决策 信息 融合 中 ,每 个 传感器 对 一 个 未 知 的 实体 提供 一 个 对 象 
身份 的 假设 (决策 )D; ,i 二 1,2,…,m, 利 用 Bayes 公式 组 合 D; , 则 提供 了 对 每 个 
可 能 实体 O; 的 一 个 更 新 后 的 后 验 概率 : PCO; | Di ,Di D, ,一 1,2,… en, HE 
取 具 有 最 大 后 验 概率 的 目标 作为 识别 的 结果 , 即 O; =arg maxP (Oy |D; Ds ,… 
D,,). Bayes 网 络 是 Bayes 方法 的 扩展 ,采用 基于 网 络 结构 的 有 向 图 模式 表 
示 不 确定 变量 集合 的 联合 概率 分 布 ,反映 变量 间 可 能 的 依赖 关系 。 基 于 
Bayes 网 络 的 多 传感器 信息 融合 把 多 传感器 系统 建 模 成 一 个 Bayes 网 络 , 先 
计算 网 络 中 所 有 节点 的 联合 概率 ,再 计算 更 低 阶 的 联合 概率 ,最 后 利用 
Bayes 计算 后 验 概率 ,选择 后 验 概率 最 大 的 假设 为 真 。 针 对 许多 实时 应 用 领 
域 如 军事 ,受到 时 间 资 源 的 限制 并 且 需 要 快速 做 出 决策 ,基于 动态 Bayes 网 
络 展 开 了 对 主动 信息 融合 的 研究 。 主 动 信息 融合 可 在 实现 选择 对 所 求解 的 
问题 最 优 信息 价值 的 信息 源 的 同时 ,还 能 确保 最 小 化 的 融合 成 本 (包括 计算 
复杂 度 以 及 获取 信息 所 需要 的 资源 )。 首 先 估计 1 时 刻 各 个 数据 源 对 Hr 
(表示 上 时 刻 需要 确认 的 假设 ) 的 不 确定 性 的 减少 量 的 上 限 , 计 算出 t 时 刻 各 
个 数据 源 所 期 望 的 效能 ,从 而 选择 数据 源 的 集合 A CO ,计算 H O h a 
KE 


P(H(t) | AO) ,HG— 1)) (3.1) 
存在 某 个 状态 h; 满足 


Wi ^ 
max maxPCOHG) = he | A@),H@—1)) za, (32) 
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则 最 终 决策 是 
H(t) =h; (3.3) 

为 真 。 

概论 统计 方法 具有 诸多 优点 : 具有 公理 基础 ,表示 直观 、 易 于 理解 、 计 
算 复杂 度 低 , 但 是 它 最 大 的 缺点 在 于 需要 比较 多 的 先 验 信息 ,在 无 测量 信 
息 的 情况 下 ,只 能 对 Bayes 公式 中 的 先 验 概论 进行 初始 估计 ,适用 条 件 比 
较 苛刻 。 

2) 人 工 智 能 方法 

人 工 智能 主要 任务 就 是 实现 计算 机 对 于 人 的 某 些 学 习 . 思维 过 程 和 智 
慧 的 形成 的 模拟 ,而 信息 融合 的 一 个 重要 目标 也 是 对 人 脑 的 事态 综合 处 理 
能 力 的 模拟 ,因此 人 工 智 能 方法 将 在 信息 融合 领域 拥有 广阔 的 应 用 前 景 , 目 
前 常用 的 方法 有 D-S 证 据 推理 ,模糊 集合 论 .神经 网 络 .支持 向 量 机 、 遗 传 算 
法 .粗糙 集 理论 等 信息 融合 方法 。 

(1) 基于 D-S 证 据 推 理 的 信息 融合 方法 。 

D-S 证 据 理论 ce' 纹 类 似 于 Bayes 推理 ,用 先 验 概论 赋值 函数 来 表示 后 验 
的 证 据 空间 ,量化 了 命题 的 可 信 程度 和 似 然 数 。 在 多 传感器 系统 中 ,由 于 传 
感 器 对 目标 感应 数据 的 精度 误差 ,系统 内 部 构造 与 运行 因素 、 外 部 环境 条 件 
以 及 数据 传输 的 可 靠 性 等 因素 的 影响 ,导致 系统 具有 不 确定 性 ,D-S 证 据 理 
论 是 一 种 不 确定 性 推理 能 力 的 数学 理论 ,基于 D-S 证 据 理论 可 以 给 出 一 种 
解决 不 确定 性 的 数据 融合 的 方法 "中 。 基 于 D-S 证 据 推 理 的 信息 融合 中 ， 
把 各 传感器 采集 到 的 信息 作为 证 据 , 建 立 相 应 的 基本 概率 分 配 函 数 ( 或 信任 
函数 ) ,在 同一 辨识 框架 下 利用 证 据 理 论 的 合成 公式 将 不 同 的 证 据 合成 一 个 
新 的 证 据 , 进 而 根据 判别 规则 进行 决策 。D-S 证 据 理 论 的 判别 准则 没有 统一 
的 一 般 性 理论 ,根据 具体 的 问题 选择 不 同 的 方法 ,常用 的 有 基于 规则 和 类 概 
率 函 数 的 方法 。 基 于 D-S 证 据 推 理 信息 融合 的 系统 结构 主要 有 : 单传 感 器 
多 测量 周期 的 时 间 域 信息 融合 .多 传感器 单 测量 周期 的 空域 信息 融合 以 及 
多 传感器 的 多 测量 周期 的 时 间 和 空域 的 信息 融合 。 

(2) 基于 模糊 集合 论 的 信息 融合 方法 。 

模糊 集合 论 是 普遍 集合 论 的 推广 ,主要 用 来 描述 不 精确 的 、 模 糊 的 概 
念 ,从 而 成 功 地 应 用 于 信息 融合 领域 。 模 糊 集 合 论 在 信息 融合 上 的 应 用 主 
要 有 : 基于 扩张 原则 的 多 传感器 测量 信息 融合 [”'5 .基于 模糊 逻辑 的 多 传 感 
器 测量 信息 融合 ”外 以 及 基于 可 能 性 理论 的 信息 融合 。 

基于 扩张 原则 的 多 传感器 测量 信息 融合 : 多 传感器 测量 信息 融合 可 以 转 
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化 为 模糊 集合 的 融合 (模糊 数 的 融合 ) , 即 从 模糊 输入 A, A A, 中 计算 出 
融合 的 模糊 集合 B= 二 F(A ,A; ,…,A,) ,其 中 ,FF 为 所 采用 的 融合 方法 ,这 里 采 
用 基于 扩张 原则 ,把 普遍 的 数据 融合 函数 (如 算术 平均 函数 ) 推 广 到 模糊 数 。 

基于 模糊 逻辑 的 多 传感器 测量 信息 融合 : 将 多 传感器 测量 信息 作为 模 
糊 逻 辑 系 统 的 输入 ,模糊 逻辑 系统 的 输出 作为 融合 的 结果 ,其 中 核心 是 建立 
模糊 规则 库 。 模 糊 规则 库 用 来 表示 专家 知识 ,由 若干 模糊 规则 构成 ,是 模糊 
推理 的 基础 ,一 般 采 用 “if-then” 形 式 , 系 统一 般 由 四 个 部 分 组 成 模糊 产生 
器 ,模糊 规则 库 模糊 推理 机 以 及 反 模 糊 化 器 。 

基于 可 能 性 理论 的 信息 融合 : 可 能 性 理论 主要 用 来 表示 和 处 理 不 确定 
性 信息 ,能 够 合成 不 同 的 数据 源 ,以 提高 信息 的 质量 。 基 于 可 能 性 理论 的 信 
息 融 合 就 是 融合 多 个 可 能 分 布 ,mm ,… ,x ,以 得 到 一 个 高 质量 (可 靠 性 和 精 
度 ) 的 全 局 可 能 性 分 布 ,融合 规则 大 多 采用 :一 模 算 子 和 ;一 模 算 子 来 实现 
模糊 交 运 算 和 模糊 并 运算 ,主要 包括 : 基于 模糊 交 运 算 的 融合 规则 、 基 于 模 
糊 并 运算 的 融合 规则 、 自 适应 融合 规则 、 非 对 称 融 合 规则 ,以 及 基于 可 靠 性 
指数 的 融合 规则 。 

(3) 基于 神经 网 络 的 信息 融合 方法 。 

人 工 神经 网 络 是 对 人 的 神经 系统 结构 和 功能 的 模拟 ,从 而 完成 从 信号 
变 成 信息 的 转换 功能 。 基 于 神经 网 络 的 信息 融合 方法 主要 利用 神经 网 络 强 
大 的 分 类 学 习 能 力 , 事 实 上 是 一 个 可 通过 学 习 给 出 一 定 分 类 能 力 的 融合 分 
Heat. SEF BP 神经 网 络 的 传感器 数据 融合 一 种 多 层 前 馈 网 络 , 神 经 元 的 传 
递 函 数 采用 S 型 函数 ,学 习 算法 采用 误差 反 向 传播 的 梯度 下 降 算法 ,在 学 习 
中 ,把 输出 节点 的 期 望 输出 和 实际 输出 的 均 方 误差 , 逐 层 向 输入 层 反 向 传 
播 , 采 用 梯度 下 降 算法 调整 各 连接 权 值 ,使 得 均 方 误差 达到 最 小 。 

(4) 基于 支持 向 量 机 (SVM) 的 信息 融合 方法 。 

SVM 是 一 种 基于 统计 理论 的 机 器 学 习 方法 ,根据 结构 风险 最 小 化 原 
JU ,在 经 验 风 险 和 模型 的 复杂 度 之 间 折 中 ,具有 全 局 最 优 且 泛 化 能 力 强 .与 
维 数 无 关 等 优点 。 基 于 SVM 的 传感器 数据 融合 首先 由 多 个 信息 源 的 输入 
形成 特征 向 量 下 ,由 于 使 用 多 信息 源 带 来 的 信息 冲突 不一致 性 和 不 完整 性 
等 问题 ,导致 F 一 些 分 量 不 能 获得 ,需要 经 过 数据 不 完整 性 的 修正 用 来 完善 
输入 向 量 ,经 过 修正 的 特征 向 量 已 经 SVM 分 类 器 执行 分 类 处 理 。 

(5) 基于 遗传 算法 的 信息 融合 方法 。 

此 外 ,采用 遗传 算法 对 信息 融合 系统 进行 参数 的 优化 以 及 特征 的 选择 ， 
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主要 是 利用 非 可 加 集合 函数 产生 的 非 线性 积分 ; 模糊 一 遗传 信息 融合 方法 
利用 模糊 集成 函数 进行 推理 .组 合 信息 ,其 中 算 子 的 参数 通过 遗传 算法 
获得 。 

(6) 基于 粗糙 集 理论 的 信息 融合 方法 。 

粗糙 集 理论 是 一 种 处 理 不 确定 性 问题 的 数学 工具 ,该 方法 的 核心 思想 
是 利用 对 象 集合 的 方式 来 对 知识 不 确定 性 程度 进行 表示 和 处 理 。 

基于 粗糙 集 理 论 的 规则 提取 的 一 般 过 程 : 构建 由 采集 到 的 样本 数据 按 
属性 组 成 决策 信息 系统 ; 计算 由 现 有 知识 的 区 分 识别 能 力 ,及 粗糙 集中 定义 
的 下 近似 集合 .上 近似 集合 .边界 域 以 及 负 域 ; 计算 能 够 保持 这 种 辨识 区 分 
能 力 的 约 简 属性 集 ,得 到 简化 的 信息 表 ; 在 简化 信息 表 的 基础 上 ,计算 出 具 
有 一 定 可 信和 度 的 简洁 的 规则 。 在 整个 规则 提取 过 程 中 ,由 于 没有 先 验 专 家 
知识 ,一 种 完全 基于 现 有 数据 信息 的 客观 的 数据 处 理 方法 。 

基于 人 工 智 能 的 信息 融合 方法 优势 在 于 此 类 方法 具有 较 强 的 学 习 能 力 
和 自 适应 能 力 , 易 于 实现 不 受 主观 影响 的 信息 的 融合 过 程 ; 缺点 是 运算 量 比 
较 大 ,规则 建立 困难 或 学 习 时 间 长 ,很 难 满足 对 信息 融合 时 效 性 和 时 空 敏感 
性 、 及 时 进行 决策 提供 实时 控制 的 要 求 ,并 且 不 容易 实现 。 


3.2 语义 Web 技术 


3.2.1 语义 Web 体系 结构 


1998 年 Tim 等 人 首先 提出 了 语义 Web 的 概念 , Tim. Berners-Lee 在 
XML2000 大 会 上 描述 了 这 个 体系 结构 ,他 认为 语义 Web 并 不 是 孤立 的 ,而 
是 当前 Web 的 延伸 , 它 的 核心 是 : 通过 将 万 维 网 的 各 类 数据 、 信 息 资源 , 注 
释 能 够 被 机 器 理解 的 带 有 语义 性 的 元 数据 (Meta data) ,从 而 使 整个 互联 网 
中 的 信息 富 含 一 定 机 器 可 以 理解 的 语义 ,实现 人 与 机 器 、 机 器 间 能 够 更 好 地 
实现 信息 的 共享 与 协作 。 

语义 Web 的 目标 就 是 让 机 器 能 理解 Web 上 的 信息 ,以 实现 机 器 对 Web 
上 的 信息 资源 进行 智能 化 处 理 。 语 义 Web 的 体系 结构 如 图 3. 5 所 示 。 

语义 Web 的 体系 结构 包括 七 层 , 从 底层 到 高 层 依次 为 : Unicode( 统 一 
字符 编码 ) URICUniversal Resource Indicator, 统 一 资源 定位 符 )、 XML, 
RDF 和 RDF Schema (简称 RDFS) , 4 fk (Ontology) , 3£ $ (Logic) , iE HA 
(Proof) .信任 (Trust) 。 在 语义 Web 七 层 结构 中 的 XML,RDF 和 Ontology 
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图 3.5 语义 Web 的 体系 结构 


三 层 , 主 要 用 于 表示 Web 信息 的 语义 ,因而 是 系统 的 核心 和 关键 所 在 。 数 字 
签名 (Digital Signature) 用 来 检测 文档 是 否 被 算 改 过 ,以 证 实 其 真实 可 靠 性 。 

(1) 第 一 层 是 Unicode 与 URI, 是 整个 语义 Web 的 基础 , 它 解 决 WWW 
上 资源 的 定位 和 跨 区 域 字符 编码 的 标准 格式 问题 。 其 中 Unicode 负责 处 理 
资源 的 编码 ,保证 使 用 的 是 国际 通用 的 字符 集 , 实 现 网 络 信息 资源 的 统一 编 
码 。 而 负责 标识 资源 URI 是 URL (Universal Resource Locator) 的 超 集 。 
作为 Internet 资源 的 一 种 标准 识别 方法 ,URI 可 以 更 为 精确 地 标识 资源 ,使 
得 信息 的 精确 检索 成 为 可 能 。 

(2) 第 二 层 是 XML 十 NS(NameSpace) 十 XML Schema ,是 XML 及 其 相 
关 技术 层 。 它 主要 是 通过 XML 标记 语言 将 网 上 资源 信息 的 结构 、 内 容 和 数 
据 的 表现 形式 进行 分 离 ,确保 语义 Web 的 定义 。XML 让 用 户 根 据 需 要 自 定 
义 一 些 “ 有 意义 ”标签 ,对 所 发 布 信息 的 内 容 进行 标记 ,并 使 用 文档 类 型 定义 
(Document Type Definition. DTD) # XML Schema 来 约束 这 些 标签 的 结 
构 。 这 种 机 制 用 于 从 语法 上 表示 数据 的 内 容 和 结构 ,可 以 通过 使 用 标准 的 
格式 化 语言 将 WWW 上 的 信息 资源 的 表现 形式 .数据 结构 和 具体 内 容 分 离 。 

(3) 第 三 层 是 RDF 十 RDF Schema, 其 提供 的 语义 模型 用 于 描述 Web 上 
的 资源 极其 类 型 ,为 网 络 资源 描述 提供 了 一 种 通用 表示 框架 和 实现 数据 集 
成 的 元 数据 解决 方案 。RDF 本 身 并 没有 规定 语义 ,但 是 它 为 每 一 个 资源 描 
述 体系 提供 一 个 能 够 描述 其 特定 需求 的 语义 结构 的 能 力 。 从 这 个 意义 上 来 
说 ,RDF 是 一 个 开发 的 元 数据 框架 。 这 个 元 数据 框架 定义 了 一 个 数据 模型 ， 
可 以 用 来 描述 机 器 能 理解 的 数据 语义 。RDF Schema 规范 用 RDF 进一步 定 
义 了 建 模 原 语 ,提供 了 RDF 模型 中 使 用 的 一 个 级 别 类 型 系统 。 

(4) 第 四 层 为 Ontology Vocabulary 层 ,用 来 描述 各 种 资源 之 间 的 联系 ， 
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本 体 扩 展 了 RDF/VRDFS ,揭示 了 资源 本 身 以 及 资源 之 间 更 为 复杂 和 丰富 的 
语义 信息 ,从 而 将 信息 的 结构 和 内 容 相 分 离 , 对 信息 做 完全 形式 化 的 描述 ， 
使 得 信息 具有 计算 机 可 理解 的 语义 。 

(5) 第 五 层 为 Logic 层 , 主 要 提供 公理 和 推理 规则 ,为 智能 服务 提供 
基础 。 

(6) 第 六 层 为 Proof 层 ,用 来 在 Logic 层 之 上 进行 更 为 复杂 的 证 明和 推 
理 。 例 如 为 了 满足 逻辑 层 的 各 种 断言 和 公理 的 使 用 条 件 而 进行 的 证 明 
过 程 。 

CD BEA Trust 和 跨越 多 层 的 数字 签名 (Digital Signature) ,注重 于 
提供 认证 和 信任 机 制 , 使 用 户 代理 Agent 在 网 络 上 实现 个 性 化 服务 和 彼此 
间 交 互 合作 具有 可 靠 性 和 安全 性 。 虽 然 公 钥 密 码 技术 已 有 很 长 时 间 的 历 
史 , 但 是 还 没有 真正 广泛 应 用 ,如 果 加 上 语义 Web 各 层 支 持 , 使 一 个 团体 在 
一 定 范围 内 可 信任 ,就 实现 了 Trust 层 , 这 样 能 使 一 些 诸如 电子 商务 等 重要 
应 用 可 以 进入 到 语义 Web 的 实用 领域 。 

语义 Web 体系 结构 中 ,核心 层 是 XML、RDFS Ontology. 目前 XML 十 
NS+XML Schema,RDF+ RDF Schema, Ontology Vocabulary 层 W3C( 国 
际 万 维 网 同盟 ) 已 相继 发 布 了 相应 的 技术 标准 。XML、RDF 是 本 体 描 述 
Web 信息 资源 语义 的 基础 ,提供 了 本 体 描 述 Web 资源 的 概念 及 其 间 关 系 的 
语法 和 框架 ,为 机 器 能 够 理解 利用 本 体 所 描述 的 信息 资源 语义 提供 了 技术 
基础 ; Ontology 主要 研究 Ontology 的 建立 及 其 表示 和 使 用 ; Logic 是 在 这 
三 层 的 基础 上 进行 推理 ,这 种 推理 是 按照 一 定 的 规则 ,根据 本 体 描 述 的 已 有 
条 件 ,推理 出 本 体 定义 的 结论 ,并 通过 数字 签名 技术 使 得 这 个 结论 在 一 定 范 
围 内 是 可 以 信任 的 。 

总 之 ,本 体 是 实现 语义 Web 的 关键 ,语义 Web 环境 下 的 应 用 本 质 就 是 
在 本 体 对 Web 信息 资源 及 其 间 的 语义 关系 的 表达 基础 上 ,对 其 进行 逻辑 推 
理 , 得 出 某 种 可 以 信任 的 结论 ,因此 当前 对 语义 Web 的 研究 和 应 用 本 质 上 是 
对 本 体 的 研究 和 应 用 。 


3.2.2 本 体 


语义 技术 重要 的 组 成 部 分 包括 : 本 体 、 数 据 标注 .关联 数 据 、 查 询 与 推理 
和 语义 网 服务 等 。 
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1. 本 体 概念 

Ontology 最 早 属于 哲学 范畴 , 它 被 定义 为 “客观 存在 的 一 个 系统 的 解释 
和 说 明 ,客观 现实 的 一 个 抽象 本 质 ”, 后 来 被 应 用 于 人 工 智 能 领域 ,研究 人 工 
智能 的 Neches 等 人 将 本 体 定义 为 “给 出 构成 相关 领域 词汇 的 基本 术语 和 关 
系 , 以 及 利用 这 些 术 语 和 关系 构成 的 规定 这 些 词汇 外 延 的 规则 的 定义 ”7 。 
这 个 定义 实际 上 给 出 了 构建 本 体 的 过 程 , 即 : 找 出 基本 的 术语 和 术语 间 的 关 
系 及 其 对 应 的 规则 ,然后 给 出 这 些 术语 和 关系 的 定义 。 在 计算 机 界 ,1993 
年 ,Gruber 给 出 了 本 体 的 一 个 最 为 流行 的 定义 , 即 “ 本 体 是 概念 模型 的 明确 
的 规范 说 明 ”59 ,后 来 ,Borst 对 此 稍 作 修改 ,提出 “本 体 是 共享 概念 模型 的 形 
式 化 规范 说 明 ”s9] 。 本 体 *' 引 是 共享 概念 模型 明确 的 形式 化 规范 ,包含 四 层 
含义 : 概念 化 .明确 化 ,形式 化 和 共享 性 。 

(1) 概念 化 ,通过 抽象 出 客观 世界 中 的 一 些 现象 的 相关 概念 而 得 到 的 模 
型 ,概念 化 所 表现 的 含义 独立 于 具体 的 环境 状态 。 

(2) 明确 化 ,所 使 用 的 概念 及 其 应 用 这 些 概念 的 约束 都 有 明确 的 含义 。 

(3) 形式 化 ,本 体 是 计算 机 可 读 的 ( 即 能 被 计算 机 处 理 ) 。 

(4) 共享 性 ,本 体 中 体现 的 是 共同 认可 的 知识 ,反映 的 是 相关 领域 中 公 
认 的 概念 集 , 它 所 针对 的 是 社会 范畴 而 非 个 体 之 间 的 共识 。 

除了 上 述 定义 以 外 ,不 少 文献 从 不 同 的 领域 和 角度 出 发 对 本 体 给 出 了 
各 种 各 样 的 定义 ,这 些 定义 之 间 是 相互 补充 的 ,并 且 不 断 地 扩充 了 本 体 的 应 
用 范围 ,但 是 它们 的 共同 点 都 包含 了 Gruber 定义 中 所 指出 的 事实 :“ 本 体 是 
反映 客观 存在 的 概念 模型 ,是 对 概念 模型 的 明确 描述 ”。 

本 体 的 目标 是 捕获 相关 领域 的 知识 ,提供 对 领域 知识 的 共同 理解 ,确定 
该 领域 内 共同 认可 的 词汇 ,并 从 不 同 层次 的 形式 化 模式 上 给 出 这 些 词汇 ( 术 
语 ) 和 词汇 之 间 相互 关系 的 明确 定义 。 目 前 Ontology 已 经 在 人 工 智 能 .计算 
语言 学 以 及 数据 库 理论 中 占有 重要 的 地 位 。 并 且 在 知识 工程 、 知 识 表示 、 定 
性 模型 .语言 工程 数据库 设计 信息 模型 .信息 集成 .基于 对 象 的 分 析 、 信 息 
检索 和 析 取 、 知 识 管理 和 组 织 、 基 于 智能 代理 的 系统 设计 等 研究 领域 中 得 到 
认可 和 应 用 ,并 具体 应 用 到 企业 集成 、 自 然 语 言 翻译 、 医 学 及 医学 工程 、 产 品 
信息 标准 化 、 电 子 商 务 以 及 各 种 信息 系统 等 。 

2. 物 联网 中 的 本 体 

物 联 网 中 的 本 体 技术 可 以 完成 对 物 联网 中 的 各 种 概念 的 统一 形式 化 描 
述 ,完成 各 类 模型 的 建 模 。 语 义 注释 能 够 根据 已 有 描述 模型 对 传统 的 各 种 
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形式 的 信息 添加 注释 元 数据 ,通过 描述 模型 及 元 数据 中 的 语义 来 体现 数据 
信息 的 语义 性 。 关 联 数据 "9 是 通过 语义 注释 生成 ,使 用 关联 关系 对 内 部 数 
据 信息 及 外 部 资源 进行 相互 连接 的 数据 信息 组 织 形式 。 通 常 以 KML, RDF 
及 OWL 形式 表示 。 语 义 查询 与 推理 "技术 是 能 够 通过 一 定 的 原则 或 协议 
完成 对 网 络 数据 的 检索 。 语 义 推理 是 指 由 于 数据 是 以 资源 之 间 的 关系 模型 
进行 建 模 的 ,通过 某 些 外 部 信息 ,能够 自动 推理 出 数据 之 间 信 息 的 关系 的 过 
程 。 语 义 网 服务 1 将 所 有 各 种 类 型 的 物理 事物 、 数 据 信息 及 服务 均 看 作 是 
资源 的 形式 ,通过 统一 资源 标识 符 (URD 命 名 ,并 通过 HTTP 协议 以 资源 的 
形式 通过 URI 在 互联 网 上 访问 ,实现 资源 共享 。 


3.2.3 本 体 描述 语言 


本 体 所 包含 的 概念 以 及 概念 之 间 的 关系 是 一 种 知识 模型 , 它 必须 与 特定 
的 领域 和 描述 语言 相关 联 才能 表示 Web 上 的 信息 资源 。 目 前 ,W3C 组 织 推荐 
的 与 本 体 相 关 的 标准 语言 主要 有 XML. RDF/RDFS 和 OWL。 本 书 将 其 统称 
为 语义 Web 描述 语言 。 其 中 XML 和 RDF 是 规定 了 语义 描述 的 语法 和 结构 ， 
主要 用 于 对 信息 资源 的 知识 归纳 和 描述 ; RDFS Al OWL 规定 了 本 体形 式 化 所 
使 用 的 关键 词汇 ,主要 用 于 对 本 体 的 定义 归纳 和 描述 。OWL 是 W3C 组 织 最 
新 的 推荐 标准 ,发 布 于 2004 4E 2 月 。 实 际 上 ,语义 Web 描述 语言 经 历 一 个 逐 


渐 演 变 的 过 程 ,如 图 3.6 所 示 。 
Schema 


图 3.6 语义 Web 描述 语言 的 演化 


由 图 3.6 所 示 , 所 有 的 描述 语言 都 是 基于 XML, 其 他 的 语言 都 是 在 XML 
语言 的 基础 上 在 语义 描述 能 力 上 的 完善 和 扩充 。 在 RDFS 上 扩展 语言 应 注意 


/ 
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以 下 几 点 : 

CD 语法 相同 ,语义 扩展 。 主 要 是 指 RDF Schema 在 RDF 之 上 扩展 了 

(2) 语法 相同 ,语义 不 同 。 主 要 是 指 RDF 的 语法 是 基于 XML 的 ,但 是 
语义 与 XML 完全 不 同 。 

(3) OWL 如 何 扩 展 RDFS。 这 个 问题 的 困难 在 于 RDFS 的 非 经 典 模 
型 论语 义 。 目 前 它 的 解决 方案 有 : OWL Full 能 够 做 到 与 RDFS 语法 和 语 
义 上 完全 兼容 ,而 OWL Lite 的 语法 与 RDFS 相同 ,语义 采用 经 典 模型 
论语 义 。 

以 下 几 节 将 对 主要 的 几 种 语言 进行 简要 介绍 和 说 明 。 

1. XML 

XML 与 HTML 一 样 ,是 SGML 的 一 个 简化 子 集 ,实现 了 文档 的 显示 和 
数据 分 离 , 具 有 很 好 的 可 扩展 性 ,是 目前 Web 数据 交换 的 语法 格式 。XML 
提供 DTD,XML Schema 对 文档 结构 进行 有 效 性 验证 ,通过 描述 /约束 文档 
逻辑 结果 实现 数据 的 语义 ,XML 对 本 体 的 描述 ,就 是 利用 DTD 或 XML 
Schema 对 本 体 所 表达 的 领域 知识 进行 结构 化 定义 ,然后 再 利用 XML 文档 
结构 和 XML 内容 之 间 的 关系 对 本 体 知识 进行 描述 ,从 而 提供 对 数据 内 容 的 
语义 描述 ,如 图 3.7 所 示 。 


DTD、 基于 本 体 有 效 验证 Css 
XMLSchema | ^57 有 效 验 证 XSLT | HTML 
i < 体 XML 
领域 本 体 模型 XML 文档 a | 文档 | 
规则 集 


图 3.7 XML 形式 化 领域 本 体 表示 概念 语义 信息 过 程 


由 于 DTD 本 身 描述 能 力 有 限 , 没 有 数据 类 型 的 支持 ,约束 定义 能 力 不 
足 , 无 法 对 XML 实例 文档 做 出 更 细致 的 语义 限制 等 ,因此 ,通过 DTD 表示 
的 本 体 ,无 法 表达 概念 间 的 继承 关系 ,并 不 能 完全 满足 XML 自动 化 处 理 的 
BERK. XML Schema 虽然 解决 了 DTD 存在 的 问题 ,如 定义 了 更 为 丰富 的 请 
法 结构 \ 元 素 类 型 .提供 了 集成 机 制 等 ,但 是 DTD、XML Schema 为 XML X 
档 提 供 的 约束 机 制 只 是 用 限定 的 XML 文档 所 用 到 的 标记 和 这 些 标 记 之 间 
的 结构 关系 ,通过 DTD 和 XML Schema 可 以 解决 对 数据 的 词汇 和 用 途 的 说 
明 , 其 语义 仍然 是 隐 含 的 。 因 而 XML 所 表示 的 本 体 是 轻 量 级 的 本 体 ,只 能 
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保证 人 们 使 用 相同 的 词汇 ,是 一 种 较 低层 次 的 本 体 应 用 ,本 体 中 不 包含 有 用 
的 语义 信息 。 

2. RDF 和 RDFS 

RDF 已 经 成 为 W3C 的 建议 。RDF (Resource Description Framework, 
资源 描述 框架 ) 是 元 数据 处 理 和 操作 的 基础 。 它 提供 了 应 用 程序 协同 工作 
能 力 。 语 义 Web 处 理 的 是 具有 固定 格式 的 信息 ,所 谓 的 固定 格式 就 是 指 
RDF, RA RDF 描述 资源 信息 ,才能 使 应 用 程序 可 以 更 好 地 识别 Web 信 
息 。 元 数据 是 关于 数据 的 数据 ,是 对 资源 和 内 容 进行 描述 的 数据 。RDF 是 
描述 Web 资源 的 元 数据 ,属于 语义 Web 中 的 元 数据 层 , 是 关于 任何 网 络 资 
源 的 元 数据 框架 。 

RDF 是 一 种 使 用 开发 工具 的 方法 ,是 一 种 通用 语法 描述 网 络 资源 的 应 
用 ,并 不 是 一 种 新 的 语言 , 它 使 用 内 置 XML 语法 描述 元 数据 ,也 就 是 XML 
提供 了 Web 数据 编码 的 语法 依据 ,RDF 保证 应 用 程序 能 理解 和 识别 Web 
上 的 元 数据 信息 。RDF 数据 模型 主要 成 分 是 资源 .资源 属性 和 陈述 ,其 基本 
的 RDF 数据 模型 如 图 3. 8 所 示 。 


m 属性 值 (Value) 
———————— 


UR (Statement) 
图 3.8 RDF 数据 基本 模型 


(1) 资源 (Resource); 资源 可 以 是 任何 的 Web 资源 , 即 能 够 通过 URI 
命名 的 Web 资源 ,包括 : 网 络 可 访问 的 资源 (如 网 页 、XML 文档 元 素 、 图 片 、 
BEE Web 服务 等 ) ,网 络 不 可 访问 的 资源 ,如 具体 的 物理 对 象 (人 、 公 司 、 
图 书馆 装订 成 册 的 书籍 ) 和 抽象 概念 实体 (作者 ) 等 。 

(2) 属性 (Property) : 属性 是 描述 某 个 资源 的 性 质 、 特 征 、 属 性 或 关系 ， 
如 信息 生成 者 、 题 名 等 ,同时 属性 也 可 能 是 资源 ,属性 也 有 可 能 是 自己 的 
属性 。 

(3) KIE (Statement): 陈述 是 有 关 具 体 资源 对 象 特性 的 具体 描述 ,包含 
了 资源 .属性 和 属性 值 ,陈述 也 可 能 是 资源 ,也 可 能 有 自己 的 属性 。 陈 述 通 
常 可 用 形 如 < S,P,O > 三 元 组 来 描述 ,其 中 S 表示 一 个 待 描 述 的 资源 对 象 ， 
P 表示 该 资源 的 特定 方面 或 刻 面 (Facet) .O 则 表示 该 资源 S 在 特性 P 上 的 
取 值 ,O 可 以 是 其 他 的 资源 对 象 ,也 可 以 是 平凡 文字 ,如 字符 串 等 。 


A 
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任何 复杂 的 系统 都 可 以 通过 合理 的 分 解 操作 ,简化 成 一 组 三 元 组 (或 陈 
述 ) 的 集合 。RDF 是 基于 这 样 一 种 思想 的 ; 被 描述 的 事物 (Resource) 具 有 一 
些 属性 (Properties) ,而 这 些 属性 各 有 其 值 (Values) ,资源 可 以 通过 枚 举 该 资 
源 的 相关 属性 及 属性 取 值 来 描述 。RDF 通过 特定 的 术语 来 区 分 陈述 中 的 各 
个 组 成 部 分 ,确切 地 说 ,在 陈述 中 用 于 识别 资源 对 象 的 部 分 则 称 之 为 陈述 的 
主体 ,而 用 于 表示 各 个 属性 取 值 的 部 分 叫 作 陈述 的 客体 。 基 于 RDF 的 资源 
描述 是 由 若干 条 资源 陈述 (Statement) 组 成 ,并 把 这 些 陈述 用 特定 的 语法 (如 
XML 等 ) 表 示 出 来 。 

图 3.9 描述 了 资源 https://www. domain. com # WebOfThings 的 相关 
信息 ,图 中 的 资源 采用 三 元 组 的 形式 描述 ( 见 图 3. 10)。 


Http://www.domain.com#WebOfThings 


http://www.domain.com#hasTime, http://www.domain.com#hasHumidity 


http://www.domain.com#hasTemperature 


时 间 湿度 


温度 


图 3. 9 关于 资源 的 陈述 


<http://www.domain.com#WebOfThings,domain:hasTime, "HY [i]"> 
<http://www.domain.com#WebOfThinsg,domain:hasTemperator, "ili E" 
«http://www.domain.com? WebOfThing.domain:hasHumidity," 湿 度 "> 


图 3. 10 ”描述 相应 资源 的 三 元 组 
图 3. 9 中 的 每 一 段 弧 对 应 于 一 个 资源 陈述 ( 即 三 元 组 描述 ) , 弧 的 起 始点 
和 终止 点 分 别 对 应 于 陈述 的 主体 和 客体 ,为 表示 的 方便 ,采用 了 前 级 的 表示 
方法 ,其 中 ,domain 表示 https://www. domain. com。 
为 了 数据 描述 和 程序 处 理 的 规范 性 , RDF 通常 采用 一 种 名 为 RDF/ 
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XML 的 XML 语法 来 书写 和 交换 RDF 陈述 ,与 RDF 的 简略 记 法 一 一 三 元 
组 (triples) 所 不 同 的 是 ,RDF/XML 是 书写 RDF 的 规范 性 语法 (normative 
syntax) ,要 求 严格 符合 XML 书写 规范 ,上 图 的 RDF/XML 语法 描述 如 
图 3.11 Bras. 


<?xml version='6.0'?> 
<rdf:RDF smins:rdf="http://www.w3.org/1999/02/22-rdf-symtax-ns#"> 
xmlns:domain="http://www.domain.com"> 
<rdf:Description rdf:about="http://www.domain.com/#WebOfThings"> 
<domain:hasTime> 时 间 </domain:hasTime> 
<domain:hasTemperatue> 温 度 </domain:hasTemperature> 
<domain:hasHumidity> 湿 度 <domain:hasHumidity> 
</rdf:Description> 
</rdf:RDF> 


图 3.11 描述 相应 资源 的 XML 表示 


上 例 中 陈述 的 资源 https://www. domain. com + WebOfThings 的 时 间 点 、 
温度 和 湿度 等 信息 ,但 是 计算 机 无 法 理解 有 关 domain; hasTemperature , 
domain; hasTime .domain: hasHumidity 的 具体 语义 信息 ,也 就 是 说 RDF 并 没 
有 定义 为 任何 一 个 特定 领域 的 语义 , 即 没 有 假定 某 个 论 域 , 它 只 是 提供 了 一 个 
与 领域 无 关 的 机 制 来 描述 元 数据 ,还 需要 使 用 其 他 工具 来 描述 领域 相关 的 

这 种 工具 就 是 RDF Schema,RDFS 是 对 RDF 的 一 种 补充 。RDFS 定义 
了 类 和 性 质 ,这 些 类 和 性 质 可 以 用 来 描述 其 他 的 类 和 性 质 ,从 而 增强 了 RDF 
对 资源 的 描述 能 力 。RDFS 主要 完成 以 下 两 个 工作 : 

(1) 描述 类 与 它 的 子 类 之 间 的 关系 ,可 用 于 定义 某 个 特定 领域 的 分 类 
方法 。 

(2) 定义 类 的 性 质 。 

也 就 是 说 ,RDFS 提供 了 一 些 建 模 原 语 , 用 来 定义 一 个 描述 类 、 类 和 类 之 
间 的 关系 的 简单 模型 。 这 个 模型 就 相当 于 为 描述 网 上 资源 的 RDF 语句 提 
供 了 一 个 词汇 表 。 可 以 说 RDFS 是 RDF 的 类 型 系统 , 它 解决 了 RDF 的 问 
题 ,提供 了 一 种 机 制 来 定义 领域 相关 的 属性 以 及 用 于 使 用 这 些 属性 的 资 
BR 

3. OWL 


CD OWL 简介 。 在 语义 Web 体系 结构 中 ,RDF 上 层 是 本 体 语 言 ,用 来 


/ 
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形式 化 描述 Web 文档 的 概念 术语 ,赋予 Web 信息 明确 的 含义 ,使 得 Web 上 
信息 处 理 和 集成 的 自动 化 更 为 容易 ,因此 该 语言 比 XML、RDF 和 RDFS 有 
更 强 的 表达 能 力 。OWL 被 设计 满足 Web Ontology 语言 的 需要 ,成 为 W3C 
公布 的 语义 Web 标准 的 一 个 组 成 部 分 。 

OWL 语言 是 一 个 定义 和 示例 Web 本 体 的 语言 ,是 RDF 的 扩展 , 它 既 是 
Web 标识 语言 ,又 是 本 体 描述 语言 ,在 Web 上 发 布 和 共享 本 体 。 和 XML 
Schema 相 比 ,OWL 语言 是 知识 表示 ,不 是 信息 表示 格式 ; 和 RDFS 相 比 ， 
OWL 不 仅 可 以 用 更 复杂 的 方法 描述 类 ,而 且 扩 展 了 RDFS 属性 ,允许 表示 
属性 的 transitive, symmetric 及 functional 性 质 , 表 达 了 更 强 的 概念 语义 信 
息 ,支持 描述 逻辑 推理 。OWL 语言 提供 了 三 种 表示 能 力 不 同 的 子 语 言 
OWL Lite OWL DL,OWL Full, 分 别 满足 不 同 组 织 团体 和 用 户 。 

(2) OWL Lite, OWL DL,OWL Full, 

OWL Lite 用 于 提供 给 那些 只 需要 一 个 分 类 层次 和 简单 约束 的 用 户 。 例 
如 ,虽然 OWL Lite 支持 基数 限制 ,但 只 允许 基数 为 0 或 1, 提供 支持 OWL Lite 
的 工具 应 该 比 支持 其 他 表达 能 力 更 强 的 OWL 子 语言 更 简单 .并且 从 辞典 
(thesauri) 和 分 类 系统 (taxonomy) 转 换 到 OWL Lite 更 为 迅速 。 像 此 OWL DL, 
OWL Lite 还 具有 更 低 的 形式 复杂 度 。 

OWL DL 还 用 于 支持 那些 更 强 表达 能 力 又 需要 保持 计算 完备 性 
(computational completeness, 即 所 有 的 结论 都 能 够 确保 被 计算 出 来 ) 和 可 判 
定性 (decidability, 即 所 有 的 计算 都 能 在 有 限 的 时 间 内 完成 ) 的 本 体 描述 。 
OWL DL 包括 了 OWL 语言 的 所 有 语言 成 分 ,但 在 使 用 时 必须 符合 一 定 的 
约束 。 例 如 ,一 个 类 可 以 是 多 个 类 的 子 类 时 ,但 它 不 能 同时 是 另外 一 个 类 的 
实例 ,OWL DL 这 么 命名 是 因为 它 对 应 于 描述 逻辑 , 它 是 一 个 眼睛 作为 
OWL 形式 基础 的 逻辑 的 研究 领域 。OWL Full 支持 那些 需要 尽管 没有 可 计 
算 性 保证 ,但 有 最 强 的 表达 能 力 和 完全 自由 的 RDF 语法 的 用 户 。 例 如 ,在 
OWL Full 中 ,一 个 类 可 以 被 同时 看 作 许 多 个 体 的 一 个 集合 以 及 本 身 作为 一 
个 本 体 。 它 允许 在 一 个 本 体 增 加 预定 义 的 (RDF、OWL) 词 汇 的 含义 。 目前， 
还 没有 推理 软件 能 支持 对 OWL Full 的 所 有 成 分 的 完全 推理 。 这 三 种 子 语 
言 之 间 的 关系 是 : 

D 每 个 合法 的 OWL Lite 都 是 一 个 合法 的 OWL DL; 

Q 每 个 合法 的 OWL DL 都 是 一 个 合法 的 OWL Full; 

© 每 个 有 效 的 OWL Lite 结论 都 是 一 个 有 效 的 OWL DL 结论 ; 

@ 每 个 有 效 的 OWL DL 结论 都 是 一 个 有 效 的 OWL Full 结论 。 
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根据 三 种 子 语言 的 特点 ,在 已 定义 领域 知识 的 基础 之 上 ,目前 OWL 
Lite, OWL DL 能 够 实现 对 Web 信息 资源 的 语义 描述 ,并 保证 机 器 对 资源 
语义 描述 的 正确 理解 和 根据 语义 进行 正确 的 推理 ,本 书 对 OWL 语言 的 分 
析 主 要 基于 OWL DL. OWL DL 作为 一 套 完整 的 形式 化 体系 包括 语法 描 
述 和 语义 推理 两 部 分 ,语法 保证 了 数据 共享 的 数据 格式 的 统一 ,语义 推理 
机 制 解释 了 概念 的 隐 含 意义 ,从 而 保证 机 器 对 信息 资源 的 智能 自动 化 
处 理 。 


3.2.4 “语义 ”角度 下 的 物 联 网 


“语义 ”角度 的 物 联网 "1 是 由 语义 技术 和 Web of Things? 结合 发 展 
而 来 ,是 对 物 联网 概念 的 进一步 深化 与 发 展 。“ 语 义 ” 角 度 的 物 联网 体现 了 
以 数据 为 中 心 的 物 联网 理念 。 

Web of Things 使 用 URIs 来 标识 资源 ,这 些 资源 是 存在 的 事物 .信息 和 
服务 等 ,各 类 资源 之 间 可 以 通过 相关 链接 相互 连接 ,构成 资源 网 络 。 从 而 ， 
一 个 具体 的 应 用 可 以 通过 这 样 的 资源 网 络 来 检索 和 访问 完成 该 应 用 的 功能 
所 需要 的 资源 [?] 。 但 是 ,在 这 样 的 以 智能 设备 传 感 的 数据 和 Web 上 的 数据 
与 知识 为 基础 构建 的 资源 网 络 中 ,由 于 异 构 性 导致 数据 的 集成 与 融合 不 能 
很 好 地 完成 ,阻碍 了 资源 之 间 的 协作 。 如 果 每 一 个 物 联网 应 用 的 开发 都 要 
求 特定 的 异 构 问题 解决 方法 ,那么 物 联网 应 用 的 开发 将 面临 效率 低下 的 风 
险 ,这 样 的 资源 网 络 ,虽然 可 以 相互 访问 ,但 是 一 个 相对 静态 的 网 络 , 并 没有 
真正 地 构建 一 个 可 以 协同 的 物 联网 环境 。 

“语义 ”角度 的 物 联 网 将 语义 技术 5 引入 Web of Things 中 ,尝试 利用 
语义 来 解决 网 络 中 信息 资源 的 异 构 性 问题 。 语 义 技术 通过 一 些 标准 化 的 资 
源 描述 模型 来 实现 Web of Things 中 异 构 信息 资源 之 间 语 义 互 操作 性 。 通 
过 该 方法 , 异 构 资 源 之 间 可 以 相互 理解 各 自 表达 的 含义 ,从 而 更 好 地 协同 完 
成 服务 ,解决 信息 资源 的 "孤岛" 问题。 

语义 技术 在 物 联网 中 的 应 用 ,实现 了 对 大 量 的 物 联网 数据 信息 的 集成 
和 融合 ,实现 对 数据 信息 所 构建 的 情景 上 下 文 信息 的 存放 、 管 理 与 处 理 。 以 
此 为 基础 ,构建 一 个 与 客观 世界 中 的 “ 物 ” 及 其 所 处 的 情景 的 严格 映射 ,构成 
一 个 物 联 网 的 智能 空间 。 语 义 技 术 在 物 联网 中 的 应 用 ,不 仅 使 得 一 个 面向 
应 用 的 资源 网 络 成 为 可 能 ,还 使 得 机 器 能 够 开始 理解 数据 所 表达 的 含义 。 
这 样 一 来 ,在 没有 人 类 干预 的 情况 下 ,机 器 可 以 自动 完成 对 信息 的 处 理 , 机 
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器 之 间 也 能 相互 理解 对 方 含义 和 处 理 信 息 。 

“语义 ”角度 的 物 联 网 的 根本 任务 "中 是 ,在 巨大 的 数据 资源 网 络 中 ,实现 
实际 原始 数据 与 这 些 数据 所 表达 的 含义 相 分 离 , 并 对 这 些 数 据 和 信息 进行 
管理 与 处 理 。 其 根本 目的 是 实现 一 个 真正 广泛 互联 互通 的 可 自由 协作 的 资 
源 网 络 , 使 得 人 与 物 、 物 与 物 之 间 充 分 的 通信 连接 和 信息 共享 ,并 且 使 得 数 
据 信息 在 物 联网 中 的 自由 流动 成 为 可 能 。“ 语 义 ” 角 度 的 物 联网 体现 了 以 数 
据 为 中 心 的 物 联网 理念 。 


3.2.5 知识 融合 


知识 融合 (Knowledge Fusion) 是 知识 科学 与 信息 融合 的 交叉 学 科 ,通过 
对 分 布 式 数据 和 知识 库 等 信息 源 的 智能 化 处 理 , 可 以 获取 可 用 的 新 知识 , 知 
TESEI AEE TABE 因此 ,本 书 首先 对 信息 融合 的 概念 

进行 了 简单 的 介绍 ,然后 在 此 基础 上 引入 知识 融合 ,对 其 研究 现状 .已 有 融 
合算 法 及 其 在 数据 集成 方面 的 应 用 进行 了 研究 ,并 在 此 基础 上 ,提出 了 自己 
的 融合 系统 。 

1991 年 ,由 美国 国防 部 成 立 的 数据 融合 联合 指挥 实验 室 (Joint 
Directors of Laboratories,JDL) 提 出 了 一 种 数据 融合 模型 0。 该 模型 已 经 
成 为 美国 国防 信息 融合 系统 的 标准 ,许多 信息 融合 的 研究 都 是 基于 此 模型 
( 见 图 3. 12)。 


数据 融合 领域 | 一 一 一 
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图 3.12 JDL 数据 融合 基本 模型 
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1. 信息 预 处 理 
预 处 理 过 程 ,根据 当前 形式 确定 数据 处 理 的 重点 。 
2. 状态 估计 


将 目标 的 特征 、 参 数 和 位 置信 息 综合 ,提取 目标 的 表征 。 

3. 态势 分 析 

综合 分 析 利 用 各 种 信息 ,将 目标 和 事件 融入 背景 描述 ,确立 目标 各 自 的 
含义 和 联系 。 

4. 威胁 估计 

推断 敌 方 的 威胁 程度 ,行动 方案 以 及 我 方 可 能 采取 的 最 佳 行动 方案 。 

5. 过 程 精炼 

不 断 修 正 上 述 估 计 ,评价 是 否 需要 其 他 信息 补充 ,是 否 需 要 通过 修改 处 
理 过 程 本 身 的 算法 等 来 获取 更 加 精确 可 靠 的 结果 。 

从 处 理 对 象 的 层次 来 看 ,第 一 级 属于 低级 融合 , 它 是 由 经 典 信号 检测 理 
论 发 展 而 来 ,是 最 近 几 十 年 开始 研究 的 领域 ,目前 大 多 数 传感器 信息 融合 系 
统 不 存在 这 一 级 ,仍然 为 集中 式 检 测 ,不 是 分 布 式 检测 。 第 二 、 第 三 级 属于 
中 间 层 次 ,是 重要 的 两 级 ,它们 是 进行 态势 评估 和 威胁 估计 的 前 提 。 第 四 、 
第 五 级 是 决策 级 融合 , 即 高 级 融合 ,包括 对 全 局 态势 发 展 和 某 些 局 部 形式 的 
估计 。 

知识 融合 (Knowledge Fusion) 的 研究 源 于 知识 工程 ,是 知识 科学 与 信息 
融合 的 交叉 学 科 ,通过 对 分 布 式 数据 库 、 知 识 库 和 数据 仓库 等 信息 源 进行 智 
能 化 处 理 , 对 知识 进行 转化 、 集 成 和 融合 ,以 获取 有 价值 或 可 用 的 新 知识 5 。 
与 信息 融合 不 同 的 是 ,知识 融合 的 主要 研究 对 象 为 知识 ,从 实现 的 角度 来 
看 ,知识 融合 中 要 通过 算法 对 多 个 知识 层 信 息 进 行 融合 ,得 到 在 某 种 意义 上 
具有 不 同 表达 方式 的 新 知识 信息 ,所 以 它 也 可 以 隶属 于 信息 融合 的 研究 范 
畴 。 知 识 融 合 多 采用 的 实现 技术 源 于 信息 融合 。 

目前 国内 外 对 知识 融合 的 定义 和 体系 结构 没有 形成 统一 的 认识 ,较为 经 
典 的 是 欧洲 多 个 研究 机 构 和 大 学 共同 参与 开发 的 KRAFT 项 目 (Knowledge 
Reuse And Fusion Transformation )U? 。 该 项 目 主要 采用 Agent 决策 技术 和 中 
间 件 技术 ,对 不 确定 知识 进行 表示 、 推 理 和 重用 ,与 现 有 的 集成 系统 有 共通 之 
处 ,因此 ,本 书 结合 KRAFT 项 目 体 系 结构 ,给 出 本 系统 的 系统 结构 。 

KRAFT 系统 结构 5 如 图 3. 13 所 示 。 
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UA UA UA | User Agent 


w R | Resource 
o Co? (w) Wrapper 
M (v) © w © Facilitator 
R 
w e 
(v) Mediator 


UA 


图 3.13 KRAFT 体系 结构 


KRATF 主要 包含 三 种 功能 对 象 实体 ,分 别 是 Wrapper, Facilitator 和 
Mediator, 分 别 用 W、F 和 M 表 示 。W 是 用 户 与 服务 资源 之 间 的 接口 ,F 负 
责 系统 的 消息 路 由 ,M 主要 负责 异 构 数 据 源 的 数据 集成 .基于 语义 的 知识 转 
换 和 知识 的 一 致 性 检查 处 理 等 工作 。 在 实际 处 理 过 程 中 ,F 通过 W 提供 的 
信息 找到 M, 当 同一 M 位 于 多 条 路 径 上 时 ,就 需要 进行 知识 融合 。 

男 一 类 研究 认为 知识 融合 是 一 种 服务 中 , 它 通 过 对 来 自分 布 式 信息 源 
的 多 种 信息 进行 转换 、 集 成 和 合并 等 处 理 ,产生 新 的 集成 化 知识 对 象 ,同时 
可 以 对 相关 的 信息 和 知识 进行 管理 。 其 体系 结构 如 图 3. 14 所 示 。 
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知识 


知识 评估 Ag 


图 3.14 一 种 基于 知识 融合 的 体系 架构 


基于 以 上 两 类 研究 ,给 出 了 结合 融合 技术 的 数据 集成 系统 的 体系 架构 ， 
数据 集成 层 的 输出 作为 融合 层 的 输入 ,进行 下 一 步 操 作 , 以 便 得 到 高 质量 的 
结果 数据 。 集 成 层 的 主要 作用 是 将 异 构 的 数据 进行 模式 转换 ,使 语法 和 语 
义 上 尽 可 能 一 致 ,而 融合 阶段 的 主要 任务 是 基于 规则 和 融合 算法 ,实现 全 局 
本 体 中 概念 实例 的 融合 。 


第 3 章 基于 本 体 的 多 源 异 构 信 息 融合 体系 结构 研究 


3.3 物 联网 多 源 异 构 信 息 融 合体 系 结构 


3.3.1 物 联 网 信息 融合 的 新 需求 


目前 , 物 联 网 信息 融合 最 急迫 需要 解决 的 问题 之 一 是 物 联网 中 信息 的 
多 源 异 构 性 问题 ,信息 角度 的 物 联网 是 以 数据 信息 为 中 心 的 物 联网 新 阶段 ， 
语义 技术 上 是 物 联 网 信息 融合 解决 多 源 异 构 性 问题 的 基本 必要 方法 。 许 多 
研究 人 员 已 经 开展 了 相关 的 研究 工作 ,包括 : 物 联网 数据 的 统一 的 描述 模 
38057 , 物 联网 数据 注释 与 抽象 *… 中 ,关联 传感器 数据 及 其 访问 9 ,数据 资源 
的 搜索 "9 ,语义 推理 与 解释 "中 等 。 

语义 网 技术 是 实现 物 联 网 多 源 异 构 信息 融合 的 必需 技术 5 。 

1, 语义 互 操作 性 

语义 互 操作 性 : 是 指 在 不 同 的 系统 间 可 以 进行 自由 的 信息 的 交互 ,并 且 
可 以 相互 理解 各 自 的 含义 。 物 联网 多 源 异 构 信 息 融合 要 求 能 够 对 多 源 异 构 
数据 进行 互相 理解 .集成 和 融合 。 物 联网 环境 下 的 多 源 异 构 信 息 融 合 处 理 
必然 要 求 统一 的 语法 表示 方法 及 异 构 数据 描述 映射 方法 ,这 是 物 联 网 环境 
下 多 源 异 构 信 息 融 合 处 理 的 前 提 :, 也 是 物 联网 环境 下 信息 融合 方法 与 传统 
的 多 传感器 数据 融合 方法 的 本 质 区 别 之 一 。 语 义 网 技术 可 以 提供 统一 的 、 
附带 语义 性 的 信息 描述 模型 及 关系 映射 方法 为 物 联网 数据 信息 提供 语义 互 
操作 性 。 

2. 数据 开放 性 

数据 开放 性 : 由 于 物 联 网 数据 信息 的 分 布 式 存储 特点 ,面向 服务 的 物 
联网 还 要 求 信息 融合 系统 能 够 容易 检索 与 获取 所 需要 的 数据 ,完成 多 源 数 
据 的 集成 。 传 统 的 传感器 网 络 数据 采集 可 能 在 互联 网 中 提供 了 专属 的 数 
据 接口 ,对 采集 的 数据 进行 有 效 访问 。 然 而 ,这 些 接口 类 型 不 同 ,并 且 数 理 
繁多 ,融合 方法 可 能 需要 使 用 来 自 多 个 服务 商 提供 的 异 构 互 联网 数据 接口 
来 收集 数据 ,这 使 融合 方法 ,以 及 整个 物 联网 可 提供 的 服务 的 构建 变 得 比 
较 困难 。 语 义 网 以 面向 服务 的 资源 形式 表示 、 检 索 访问 数据 信息 ,可 以 为 
物 联网 环境 下 面向 服务 的 信息 融合 系统 提供 便捷 统一 的 数据 检索 与 获取 
方法 。 
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3. 灵活 性 和 可 扩展 性 

灵活 性 和 可 扩展 性 : 物 联网 环境 下 的 多 源 异 构 信 息 融 合 系统 要 求 能 够 灵 
活 地 匹配 集成 所 需要 的 关联 数据 信息 ,能 够 灵活 增加 或 减少 参与 融合 计算 的 
关联 数据 信息 的 数量 ,提高 融合 效率 及 质量 。 由 于 关联 数据 是 以 资源 之 间 的 
关系 模型 进行 建 模 的 图 数据 模型 ,因而 具有 很 好 的 灵活 性 与 可 扩展 性 。 

4. 语义 推理 能 力 

语义 推理 能 力 : 物 联网 多 源 异 构 信息 融合 系统 要 求 对 现实 世界 全 面 地 、 
准确 地 感知 ,对 客观 世界 综合 反映 与 抽象 。 语义 网 技术 提供 的 语义 推理 能 
力 能 根据 观测 数据 对 观测 事物 的 特征 抽象 及 情景 进行 感知 ,从 而 对 所 观测 
的 事物 得 出 全 面 准确 的 理解 .抽象 与 情景 感知 。 


3.3.2 多 源 异 构 信息 融合 体系 结构 


面向 云 平台 的 物 联网 多 源 异 构 信 息 融 合 包含 一 整套 的 理论 .方法 和 算 
法 的 框架 ,这 些 理论 .方法 和 算法 用 来 解决 智慧 城市 多 源 异 构 信 息 集 成 与 融 
合 , 对 多 种 感知 设备 与 相关 信息 知识 进行 合并 和 挖掘 、 综 合 分析 与 推理 抽 
象 ,从 而 得 到 更 好 质量 的 信息 。 根 据 以 上 研究 内 容 构建 智慧 城市 多 源 异 构 
大 数据 融合 实现 框架 ,如 图 3.15 所 示 。 
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图 3.15 物 联 网 多 源 异 构 大 数据 融合 实现 框架 
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1. 技术 路 线 

本 书 将 面向 物 联网 的 多 源 异 构 大 数据 融合 分 为 四 个 阶段 : 采集 原始 数 
据 、 数 据 抽象 数据 集成 与 融合 、 特 征 抽 象 。 首先 ,原始 数据 采集 主要 来 自 多 
种 传感器 ,监控 系统 和 移动 终端 设备 等 ; 其 次 ,将 关系 型 数据 库 中 的 原始 数 
据 映射 成 RDF 类 型 数据 , 即 根据 语义 网 络 描述 模型 构建 基于 观测 的 本 体 描 
述 模型 ,完成 对 原始 数据 的 抽象 与 访问 ; 最 后 ,使 用 深度 学 习 集 成 以 资源 形 
式 表示 的 多 源 异 构 关 联 数据 信息 ,从 而 能 够 完成 进一步 的 多 源 异 构 数据 
融合 。 

2. 具体 的 研究 方案 与 可 行 性 分 析 

1) 采集 原始 数据 

物 联网 系统 全 面 感知 的 是 底层 各 类 型 感知 设备 对 物理 世界 事物 观测 所 
产生 的 数据 。 这 些 数据 来 源 于 某 个 物理 现象 或 事件 ,如 环境 温度 、 大 气 湿度 
等 ,此 时 的 数据 是 比较 粗糙 的 ,还 不 能 完全 体现 出 一 些 人 类 或 机 器 可 理解 的 
语义 ,而 且 这 些 数据 往往 以 分 布 式 的 方式 进行 存储 和 维护 。 这 些 数据 在 通 
信 网 络 中 传输 时 ,在 保证 可 靠 性 的 前 提 下 ,根据 某 些 特点 进行 网 内 数据 的 汇 
聚 融合 处 理 5"'7 ,这 样 可 以 实现 降低 网 内 数据 传输 量 , 有 利于 节省 能 耗 , 延 
长 网 络 使 用 。 为 了 保证 信息 融合 的 质量 ,原始 粗糙 的 数据 在 信息 融合 初期 
需要 进行 预 处 理 ,包括 对 数据 的 正确 解析 过滤 噪 声 数据 及 对 数据 的 不 完备 
性 处 理 等 。 

2) 数据 抽象 

首先 ,针对 特定 应 用 服务 需求 及 对 这 些 采集 到 的 数据 的 特点 ,定制 相应 
的 观测 语义 描述 模型 , 即 模式 层 。 其 次 ,按照 相应 的 模式 层 描述 模型 ,对 物 
联网 底层 感知 设备 采集 的 原始 数据 进行 元 数据 的 标注 ,以 实例 形式 与 模式 
层 描述 模型 完成 映射 ,实现 从 原始 数据 到 观测 数据 的 抽象 。 面 向 观测 的 语 
义 关联 数据 形式 是 数据 抽象 的 结果 ,关联 数据 "中 是 以 统一 资源 标识 符合 
名 的 数据 资源 ,并 通过 HTTP 协议 以 资源 的 形式 在 互联 网 上 访问 的 数据 , 通 
常 以 RDF 形式 表示 。 这 种 关联 数据 通过 关联 关系 完成 内 部 与 外 部 的 数据 
关联 ,使 得 物 联网 感知 来 的 原始 数据 不 只 是 孤立 地 存储 在 某 个 数据 管理 中 
的 数据 孤岛 ,而 是 使 物 联网 成 为 基于 信息 、 资 源 相互 连接 的 内 容 网 络 的 基 
础 ,也 为 物 联 网 信息 融合 提供 了 统一 且 简单 有 效 的 分 布 式 数据 搜索 与 访问 
方式 s 

数据 抽象 是 通过 高 层 的 语义 模型 (Schema Level) ,使 得 数据 具有 一 定 程 


/ 
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度 的 机 器 可 理解 的 语义 ,有 利于 机 器 更 好 地 理解 所 观测 和 监控 的 客观 事物 
的 实际 情况 。 物 联网 的 数据 流 形式 具有 很 强 的 时 间 性 和 空间 性 ,观测 数据 
关联 观测 时 间 、 地 点 以 及 其 他 有 助 于 体现 该 观测 数据 实际 意义 的 数据 信息 。 

Ha, 在 语义 描述 模型 方面 的 研究 包括 : OGCU" (the Open 
Geographical Consortium)model 主要 研究 基于 观测 与 测量 的 传感器 网 络 数 
据 通用 模型 构建 ; W3C SSN(Semantic Sensor Network) Ontology”! A [y 4 
出 了 基于 观测 与 测量 的 数据 通用 本 体 构 建 ,而 且 构 建 了 通用 的 传感器 及 传 
感 器 网 络 资源 本 体 描述 模型 ; 物 联 网 实体 模型 (IOT-A Entity Model) 等 。 

3) 数据 集成 与 融合 

数据 集成 与 融合 阶段 重要 的 任务 是 能 够 实现 多 源 数据 集成 . 异 构 数据 
映射 及 数据 融合 计算 。 多 源 数 据 的 集成 不 仅 包 含 对 采集 的 关于 客观 世界 的 
数据 自身 的 集成 ,又 包含 与 外 部 其 他 数据 .信息 和 知识 的 无 缝 集 成。 这 里 的 
多 源 数据 集成 能 够 通过 与 数据 关联 的 信息 ,如 时 间 、 空 间 及 其 他 关联 特性 完 
成 对 所 需 多 源 数据 的 检索 与 汇聚 。 数 据 抽象 后 的 观测 关联 数据 是 以 资源 形 
式 存在 的 ,可 以 通过 HTTP 协议 直接 访问 和 返回 数据 ,并 通过 SparQL59 
(Simple Protocol and RDF Query Language) 协 议 访 问 和 获取 关联 数据 。 
SparQL 是 为 关联 数据 研发 的 数据 访问 与 获取 协议 , 它 是 W3C 关于 RDF 数 
据 查 询 建设 的 推荐 标准 。 

poni agio uon hiring E 使 得 数据 的 表达 形式 得 
到 初步 的 统一 ,例如 “日 期 “性 别 ”等 同一 种 类 型 的 数据 要 用 统一 的 格式 表 
AB ,不 符合 约束 条 件 的 字段 值 要 改正 等 。 由 于 XML 语义 表达 能 力 的 缺陷 ， 
本 书 按照 语义 元 数据 中 的 定义 转化 为 使 用 资源 描述 框架 (RDF) 描 述 的 本 体 
实例 (Ontology Instances) 输 出 。 

物 联 网 数据 经 过 数据 抽象 以 后 ,可 能 会 面临 数据 描述 异 构 型 的 问题 , 即 
数据 抽象 时 所 使 用 的 本 体 描述 模型 不 同 , 而 产生 的 数据 不 能 互 操作 问题 。 
要 解决 异 构 数据 映射 问题 ,必须 对 所 有 的 物 联网 数据 .服务 及 客观 事物 建立 
一 个 统一 的 资源 描述 模型 ,难点 是 这 些 描述 模型 是 某 些 个 体 对 某 些 客观 事 
物 及 其 规律 的 认识 , 易 带 有 主观 性 ,很 难 达 到 一 致意 见 。 所 以 ,采用 的 做 法 
有 两 种 : (1) 通 过 与 更 高 级 的 模型 相关 联 , 使 得 处 于 低级 的 多 个 描述 模型 之 
间 建 立 映射 关系 ,从 而 解决 异 构 型 问题 ; (2) 对 本 体 模型 进行 分 析 , 找 出 描述 
模型 之 间 的 相似 点 与 一 致 点 ,去 除 不 一 致 性 ,直接 进行 匹配 与 映射 。 

数据 融合 是 指 对 采集 的 多 源 观 测 数据 通过 智能 处 理 算法 ,进行 融合 计 
算 , 得 到 这 些 数据 值 的 适当 的 分 析 、 概 括 与 估计 。 这 个 阶段 的 数据 融合 以 算 
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法 为 重点 ,以 数据 值 的 计算 为 手段 。 本 书 采用 基于 深度 学 习 的 信息 融合 方 
法 ,通过 设计 合理 的 表示 学 习 模 型 ,将 不 同 来 源 的 对 象 投影 到 同一 个 语义 空 
间 中 ,建立 统一 的 表示 空间 ,实现 多 知识 库 的 信息 融合 。 例 如 : 当 我 们 在 信 
息 检索 或 自然 语言 处 理 中 应 用 知识 库 时 ,往往 需要 计算 查询 词句 子 、 文 档 
和 知识 库 实体 之 间 的 复杂 语义 关系 。 由 于 这 些 对 象 的 异 质 性 ,计算 它们 的 
语义 关联 比较 困难 ,而 基于 深度 学 习 的 表示 学 习 亦 能 为 异 质 对 象 提供 统一 
的 表示 空间 ,实现 异 质 对 象 之 间 的 语义 关联 计算 。 

我 们 将 知识 库 表示 为 G 二 (E,R,S), 其 中 玉 == (eise ein) ME 
中 的 实体 集合 ,其 中 包含 |E| 中 不 同 的 实体 ; R= {ni ore see ,rll) 是 知识 库 中 
的 关系 集合 ,其 中 包含 |R| 中 不 同 的 关系 ; SCEXRXE, 则 代表 知识 库 中 三 
TARER- RRK hrd AEP h Me 表示 头 实 体 和 尾 实体 ,而 ~ 表 
Ah Alt 之 间 的 关系 。 

以 实现 文书 与 知识 库 融合 的 表示 学 习 为 例 ,知识 表 
示 学 习 最 有 代表 性 的 模型 为 TransE 模型 [93] ,将 知识 库 
中 的 关系 看 作 实 体 间 的 某 种 平移 向 量 。 对 于 每 个 三 元 
组 (有 ,r,t),TransE 用 关系 7 B9 p] it l, 作为 头 实 体 向 量 
L, 和 尾 实体 向 量 2, 之 间 的 平移 。 如 图 3. 16 所 示 ,对 于 


每 个 三 元 组 (h,r,1) ,TransE 希望 图 3.16 TransE 模型 
+l, ~h (3.1) 
定义 如 下 损失 函数 : 
fht) =| o LL lan (3.95 
即 向 量 2, -- 1, DI, AY La 3X L 距离 ,其 中 Li 表示 曼哈顿 距离 ,Ls 表示 
欧式 距离 。 


在 实际 学 习 过 程 中 ,为 了 增强 知识 表示 的 区 分 能 力 ,TransE 采用 最 大 间 
隔 方法 ,定义 了 如 下 优化 目标 函数 : 
pe S 5  max(0,f,(h,) +y— fy * ht)) (3.3) 


Qm DES qr LES 
其 中 ,S 是 合法 三 元 组 的 集合 .S 是 错误 三 元 组 的 集合 ,max(z,y) 返 回 x 和 
y 中 的 最 大 值 ,7 为 合法 三 元 组 得 分 和 错误 三 元 组 得 分 之 间 的 间隔 距离 。 
错误 三 元 组 并 非 随机 产生 的 ,而 是 选取 有 代表 性 的 错误 三 元 组 ,TransE 
将 S 中 每 个 三 元 组 的 头 实体 .关系 和 尾 实体 其 中 之 一 随机 替换 成 其 他 实体 
或 关系 来 得 到 S, B: 
S-— (Ql Dy U sr sD U (rst) (3.4) 
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与 以 往 模 型 相 比 , TransE 模型 参数 较 少 ,计算 复杂 度 低 , 却 能 直接 建立 
实体 和 关系 之 间 的 复杂 语义 关系 。Borders 等 人 在 WordNet 和 Freebase 等 
数据 集 上 进行 链接 预测 等 评测 任务 ,实验 表明 TransE 的 性 能 较 其 他 模型 有 
显著 提升 ,特别 是 在 大 规模 稀 玻 知识 图 谱 上 ,TransE 的 性 能 尤其 惊人 。 

TransE 模型 面 对 复 杂 语 义 关 系 时 尚 有 待 改 进 , 例 如 : 

CD 知识 库 中 的 其 他 信息 ,如 实体 和 关系 的 描述 信息 .类别 信息 等 。 

© 知识 库 外 的 海量 信息 ,如 互联 网 文本 蕴含 了 大 量 与 知识 库 实体 和 关 
系 有 关 的 信息 。 

面 对 海量 的 多 源 异 质 信息 可 以 帮助 改善 数据 稀 跑 性 问题 ,提高 知识 表示 
的 区 分 能 力 。 如 何 充分 融合 这 些 多 源 异 质 信息 ,实现 知识 学 习 , 具 有 重要 意 
义 。 在 融合 上 述 信 息 进行 知识 表示 学 习 方 面 ,考虑 实体 描述 的 知识 表示 学 习 
模型 是 DKRL(Description-embodied Knowledge Representation Learning) 模 型 。 
在 文本 表示 方面 考虑 了 两 种 模型 : 一 种 是 CBOW"* 8) (UL PAL 3. 17) ,将 文本 中 
的 词 向 量 简单 相 加 作为 文本 表示 ; 另 一 种 是 卷 积 神经 网 络 (Convolutional 
Neural Network. CNN)? CILE 3.18) ,能 够 考虑 文本 中 的 词 序 信息 。 
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图 3.17 DKRL(CBOW) 模 型 


DKRL 可 以 利用 CBOW 和 CNN 根据 实体 描述 文本 得 到 实体 表示 , 然 
后 将 该 实体 表示 用 于 TransE 的 目标 函数 学 习 。DKRL 的 优势 在 于 ,除了 能 
够 提升 实体 表示 的 区 分 能 力 外 ,还 能 实现 对 新 实体 的 表示 。 当 新 出 现 一 个 
未 曾 在 知识 库 中 的 实体 时 ,DKRL 还 可 以 根据 它 的 简短 描述 产生 它 的 实体 
表示 ,用 于 不 断 扩充 知识 图 谱 。 

4) 特征 抽象 

REE DU? ,是 指 将 基于 观测 语义 描述 的 数据 ,结合 所 观测 对 象 的 领域 
知识 [9 进行 推理 ,完成 对 观测 事物 或 其 特征 的 抽象 表示 以 及 综合 的 情景 感知 。 
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图 3.18 DKRL(CNN) 模 型 


特征 抽象 主要 是 通过 基于 领域 知识 的 语义 推理 来 完成 。 通 过 FACT++ Jena 
等 实现 。 领 域 知识 可 以 来 自 专家 专门 构建 的 “ 智 件 ”, 也 可 以 从 互联 网 上 的 信 
息 或 历史 数据 中 抽取 相关 知识 。 抽 象 得 到 的 特征 仍然 是 以 关联 数据 形式 存 
在 ,可 通过 关联 数据 的 检索 与 访问 接口 实现 数据 及 信息 资源 的 获取 ,这 里 关联 
数据 的 接口 主要 是 通过 HTML 浏览 器 直接 使 用 URL 访问 数据 信息 资源 、 关 
联 数据 的 浏览 器 (如 OpenLink RDF Browser 等 )、SparQL 等 。 另 外 ,从 数据 抽 
象 到 信息 融合 后 的 数据 信息 可 以 通过 模式 层 , 即 描述 模型 与 关联 开发 云 
(Linked Open Data Cloud) 相 关联 ,实现 与 更 多 外 部 知识 和 信息 空间 相关 联 。 
这 既 有 利于 数据 信息 资源 的 发 现 与 集成 ,又 有 利于 与 外 部 知识 互联 互通 。 


3.4 系统 架构 


如 图 3. 19 所 示 ,系统 总 体 架构 由 三 大 部 分 组 成 。 

1. 传感器 网 络 及 其 中 间 件 系统 

部 署 于 实验 室 的 各 类 型 传感器 实时 采集 数据 ,并 将 数据 通过 无 线 网 关 
发 送 给 传感器 网 络 中 间 件 ,传感器 网 络 中 间 件 将 这 些 实时 数据 存储 进 关 系 
型 数据 库 SQL Server 2008 中 。 

2. D2RQ 系统 

通过 SSN(Semantic Sensor Network)Ontology 对 采集 的 传感器 网 络 数 
据 进 行 建 模 和 抽象 ,并 利用 D2RQ Mapping Lauguage 定义 其 余 关系 型 数据 
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图 3.19 系统 架构 


库 SQL Server 2008 中 各 个 事务 之 间 的 映射 关系 ,完成 普通 数据 与 关联 数据 
的 转化 。 这 些 数据 可 通过 SPARQL HTML 浏览 器 和 RDF 浏览 器 进行 访 
问 查询 及 进一步 地 数据 集成 。 

3. 领域 知识 库 构 建 

根据 目标 事物 , 即 实验 室 环境 通过 Protege 工具 构建 一 个 领域 知识 库 ， 
通过 Jena 推理 机 进行 推理 ,完成 对 实验 室内 环境 的 智能 识别 与 判断 。 


3.5 基于 本 体 的 数据 融合 算法 


3.5.1 相关 定义 


知识 融合 的 前 提 条 件 是 准确 识别 来 自 不 同 信息 源 但 却 描述 了 客观 世界 
统一 实体 的 那些 实例 。 判 定 它们 是 等 价 的 、 完 余 的 还 是 冲突 的 ,对 已 经 判定 
为 等 价 的 实例 ,需要 采取 合并 。 围 绕 知 识 融合 中 出 现 的 问题 ,首先 给 出 相关 
概念 的 定义 。 

定义 1 关键 属性 /属性 集 : 如 果 对 于 一 个 概念 ,存在 一 组 属性 值 K = 
(Ri Ko Ks KS) ,可 以 唯一 确定 该 概念 的 一 个 实例 , 则 这 些 属 性 为 该 概 
念 的 关键 属性 /属性 集 , 即 该 概念 的 任意 实例 在 该 属性 上 有 且 只 有 一 个 属 
Hi. 


第 3 章 基于 本 体 的 多 源 异 构 信 息 融合 体系 结构 研究 


定义 2 等 价 实例 : 对 于 一 个 概念 以 及 它 的 两 个 例 Instancel 和 Instance2, 
如 果 Instancel,Instance2 在 关键 属性 上 的 取 值 相等 , 称 Instancel 和 Instance? 为 
等 价 实例 , 即 Instancel Instance? 是 对 客观 事件 同一 实体 的 两 种 描述 。 

定义 3 元 余 实 例 : 对 于 一 个 概念 以 及 它 的 两 个 等 价 实例 Instancel 和 
Instance2, 如 果 Instancel、 Instance2 在 所 有 非 关 键 属性 上 的 值 相等 , 称 
Instancel 和 Instance? 是 元 余 实例 。 

定义 4 冲突 实例 : 对 于 一 个 概念 以 及 它 的 两 个 等 价 实例 Instancel 和 
Instance2, 4 Instancel „Instance? 在 非 关 键 属性 上 的 值 不 等 , 称 Instancel 
和 Instance2 是 冲突 实例 。 


3.5.2 融合 算法 


目前 ,对 于 等 价 实例 识别 与 融合 的 研究 中 ,文献 [9 提出 的 方法 需要 全 局 
本 体 的 身份 属性 集 , 但 全 局 本 体 及 全 局 本 体 到 局 部 本 体 的 映射 不 容易 获得 ; 
文献 [四 采 用 了 基于 概率 的 方法 ,但 这 种 方法 必须 事先 对 信息 源 中 的 信息 指 
定 相 应 概率 ,不 具有 普遍 适用 性 ; 文献 B9 提出 的 方法 假设 条 件 较 强 。 文 
献 中 提出 了 基于 关键 属性 和 融合 规则 的 融合 方法 ,通过 比较 本 体 实例 的 关 
键 属性 值 来 判断 其 是 否 是 等 价 实例 ,其 算法 灵活 、 简 便 ,适应 性 和 可 靠 性 比 
较 好 。 本 书 是 在 文献 中 的 基础 上 ,消除 了 等 价 实例 、 冲 突 实例 ,并 对 来 自 于 
各 个 不 同 数据 源 .描述 客 观 世 界 同一 实体 的 不 同 实 例 进 行 了 合并 。 
融合 算法 流程 如 图 3. 20 所 示 。 
算法 1 对 等 价 实例 中 的 三 元 组 进行 合并 操作 。 
// 由 外 层 到 内 层 的 顺序 ,将 modell 合并 到 model2 中 。 将 modell 最 外 层 节点 的 三 
元 组 集合 中 所 有 与 model2 等 价 的 三 元 组 进行 融合 , 否则 将 其 合并 到 model2 rp, 并 
将 处 理 过 的 三 元 组 从 modeliStmtList 中 删除 
function merge(Model model1, Model model2) 
// 对 modell 和 model2 中 等 价 的 三 元 组 进行 合并 
Local Variable: List < string>model1StmtList; 
/ /modeli 中 所 有 三 元 组 的 集合 
List< string? modellStmtList; 
/ /node12 中 所 有 三 元 组 的 集合 
List< string> outer1StmtList; 
//modell 中 最 外 层 节点 的 三 元 组 的 集合 
List< string> outer2StmtList; 
//model2 中 最 外 层 节点 的 三 元 组 的 集合 
List< string> subStmtList; 
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开始 


初始 化 数据 集 


比较 关键 属性 
的 属性 值 


等 价 实例 
不 相关 知识 


化 较 非 关键 属性 
Do 
i 直接 合并 
Wes. " 
1 JUR : 
| im o X dg | 删除 宛 余 项 
结束 


图 3.20 ”融合 算法 流程 图 


//modell 中 以 最 外 层 节点 为 主体 的 三 元 组 集合 
for each outerInsiouterlStmtList Do 
// 如 果 modell 和 model2 中 存在 等 价 实例 ,需要 将 modell 相关 实例 与 mode12 
中 等 价 实例 进行 合并 
if m2Insmodel2StmtList && similar(outerInsi,m2Ins) then 
fusion(outerInsi, m2Ins, subStmtList, modellStmtList, model2); 
else 
// 如 果 没 有 等 价 实 例 ,将 其 简单 合并 到 model2 中 
add subStmtList to model2; 
add < n2Ins, P(stmti),O(stmti)»; 
delete < m2Ins,P(stmti),O(stmti)» from modellStmtList; 
// 将 处 理 过 的 三 元 组 从 modell 中 删除 
delete subStmtList from modell; 
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end if 
end for 
return model2; 
end function 


算法 描述 : 

由 外 层 到 内 层 的 顺序 ,将 modell 合并 到 model2 中 。 将 modell 最 外 层 
节点 的 三 元 组 集合 中 所 有 与 model2 中 等 价 的 三 元 组 进行 融合 ,否则 将 其 合 
并 到 model2 中 ,并 将 处 理 过 的 三 元 组 从 modell StmtList 中 删除 。 如 果 
modell 和 model2 中 存在 等 价 实例 ,需要 将 modell 相关 实例 与 model2 中 等 
价 的 实例 进行 合并 。 并 且 在 合并 过 程 中 需要 识别 元 余 知 识 和 冲突 知识 ,并 
进行 相应 的 处 理 ,因此 算法 中 如 果 找 到 等 价 实例 ,需要 对 等 价 实例 相关 的 知 
识 三 元 组 执行 合并 操作 。 

算法 2 基于 融合 规则 ,对 来 自 各 个 不 同 的 异 构 数据 源 的 ,描述 客观 世 
界 统一 实体 的 不 同 实例 进行 合并 。 


Local Variable: 
mlIns,m2Ins; 
/ /modeli 和 model2 中 三 元 组 的 实例 
function fusion(mlIns,m2Ins, subStmtList, model1StmtList, model2) 
// 对 等 价 的 两 个 实例 进行 合并 
if mlInsmodellStmtList && m2Insmodel2StmtList && similar(mlIns,m2Ins) then 
{ 
delete mlIns from model1StmtList; 
delete mlIns from subStmtList; 
} 
for each stmtisubStmtList do 
if m2stmtmodel2 && same(stmti,m2stmt) then 
// 如 果 存 在 与 m2stmt 完全 相同 的 三 元 组 , 则 为 元 余 三 元 组 , 从 StmtList 中 
删除 
delete stmti from modellStmtList; 
else 
if conflict(stmti,m2stmt) then 
// 根 据 融合 规则 融合 ,并 把 结果 放 和 人 三 元 组 集合 中 
if stmti stmtSet then 
delete m2Ins from model2; 
add < n2Ins, P(stmti),O(stmti)»; 
delete < m2Ins, P(stmti),O(stmti)» from modellStmtList; 
delete stmti from subStmtList; 
else 


A 
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delete stmti from subStmtList; 
end if 
else to model2 
add < m2Ins, P(stmti),O(stmti)» to model2; 
delete < m2Ins, P(stmti),O(stmti)> from modellStmtList; 
delete stmti from subStmtList; 
end if 
end for 
return model2; 
end function 
算法 描述 
(D 已 经 判定 为 等 价 的 两 个 三 元 组 实例 ,由 于 它们 的 关键 属性 和 属性 值 
都 是 相等 的 , 即 在 modell 中 主体 是 等 价 实例 、 谓 词 是 关键 属性 的 三 元 组 和 
model? 中 主体 是 等 价 实例 ,谓词 是 关键 属性 的 三 元 组 是 元 余 的 ,所 以 ,首先 
将 所 有 主题 是 modell Ins. 谓词 是 关键 属性 的 三 元 组 从 modell StmtList 和 
sub StmtList 中 删除 。 
(2) 完成 第 一 步 的 删除 操作 后 ,sub StmtList 中 所 有 三 元 组 的 属性 均 为 
非 关键 属性 ,如 果 存 在 与 m2stmt 完全 相同 的 三 元 组 , 则 可 以 判定 两 个 三 元 
组 是 元 余 的 same (stmti, m2stmt) ,此 时 不 将 stmt; 加 入 model? rp; 如 果 
stmti 与 m2stmt 属性 相同 ,而 属性 值 不 相等 , 则 可 以 判定 为 两 个 三 元 组 是 冲 
突 的 conflict (stmti, m2stmt), 此 时 按照 融合 规则 ,将 可 信 知识 添加 到 
model2 中 ; 如 果 stmti 与 m2stmt 属性 不 相同 ,属性 值 也 不 相等 , 则 两 个 三 元 
组 是 互补 的 ,将 modell 中 的 三 元 组 合并 到 model2 中 即 可 。 


3.6 本章 小 结 
本 章 主 要 介绍 了 语义 Web 的 体系 结构 及 其 应 用 ,并 在 此 基础 上 介绍 了 


本 体 ,包括 本 体 的 概念 、 建 模 语言 .分 类 ,本 体 在 物 联 网 中 的 应 用 等 。 同 时 ， 
提出 了 基于 本 体 的 多 源 异 构 信息 融合 体系 结构 ,并 给 出 了 知识 融合 算法 。 


E 


物 联 网 多 源 异 构 数 据 融合 


4.1 背景 介绍 


物 联 网 (Internet of Things,IoT) 是 通过 信息 传 感 设备 , 按 约定 的 协议 实 
现 人 与 人 .人 与 物 、 物 与 物 全 面 互联 的 网 络 。 其 主要 特征 是 通过 射频 识别 、 
传感器 等 方式 获取 物理 世界 的 各 种 信息 ,结合 互联 网 .无 线 通信 网 等 网 络 进 
行 信 息 的 传送 与 交互 ,采用 多 种 智能 计算 技术 对 信息 进行 分 析 处 理 , 从 而 提 
高 对 物质 世界 的 感知 能 力 ,实现 智能 化 的 决策 和 控制 。 

物 联 网 预计 将 创造 一 个 新 世界 。 物 理 对 象 被 无 缝 地 集成 到 信息 网 络 
中 ,从 而 提供 高 级 智能 服务 。 当 前 ,互联 的 物 联网 设备 已 经 超过 了 世界 人 
数 ,其 产值 预计 到 2020 年 年 底 将 达到 24 亿美 元 。 当 前 ,欧美 在 物 联 网 的 应 
用 方面 已 有 一 些 基础 ,国内 的 物 联 网 应 用 已 遍布 农业 工业、 商业、 军事 、 金 
融 等 各 个 行业 ,在 城市 公共 安全 .工业 安全 生产 、 环 境 监 控 、 智 能 交通 、 智 能 
家 居 公共 卫生 、 健 康 监 测 等 领域 取得 了 一 定 的 成 效 。 
由 于 拥有 大 量 的 无 线 传感器 设备 , 物 联 网 产生 了 大 数据 量 , 这 些 数据 巨 
大 .多 源 、 异 构 、 动 态 和 稀 玖 。 随 着 物 联网 应 用 的 不 断 深入 ,数据 处 理 的 问题 
日 益 显 现 。 物 联网 数据 具有 海量 和 显著 的 多 源 异 构 特性 ,存在 数据 缺失 、 断 
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续 、 时 空 关系 不 一 致 ,采样 频率 和 测量 精度 的 差异 等 问题 ,而 且 物 联网 上 层 
应 用 的 需求 ,如 节能 性 ,实时 性 、 安 全 性 等 ,对 传 感 端的 数据 也 有 严格 的 要 
求 。 数 据 融合 将 多 个 数据 和 知识 集成 到 一 个 一 致 .准确 和 有 用 的 地 方 。 数 
据 融合 为 高 质量 信息 提供 可 靠 的 表示 。 数 据 融合 是 集成 数据 的 质量 保证 和 
分 析 挖 掘 的 前 提 条 件 。 物 联网 数据 融合 技术 根据 感知 到 的 多 源 海量 数据 ， 
挖掘 其 互补 性 ,发 挥 每 种 数据 的 优势 ,利用 异 构 信 息 消除 单一 数据 的 错误 和 
异常 。 因 此 ,如 何 实 现 物 联网 海量 多 源 异 构 数 据 的 融合 处 理 是 一 个 具有 挑 
战 性 的 课题 ,是 解决 以 上 所 提出 问题 的 关键 技术 。 

本 章 针 对 环境 监测 物 联网 ,基于 Hadoop 大 数据 处 理 平台 ,采用 虚拟 数 
据 库 技术 ,结合 MapReduce 模型 ,设计 了 物 联网 多 源 异 构 数据 融合 架构 ,并 
实现 了 初步 的 原型 系统 。 本 章 对 架构 中 各 个 功能 模块 做 了 重点 分 析 ; 分 析 
了 系统 架构 中 解析 器 模块 视图 及 任务 分 配 过 程 ; 分 析 了 执行 器 模块 
MapReduce 执行 过 程 。 以 环境 监测 系统 为 例 , 对 环境 物 联网 多 源 异 构 数据 
进行 融合 处 理 及 存储 。 对 已 完成 的 系统 使 用 数据 进行 了 功能 与 性 能 测试 。 
实验 结果 表明 ,该 架构 模型 能 够 在 较 短 时 间 内 处 理 多 数据 源 海量 数据 ,为 用 
户 请 求 提供 完整 准确 的 信息 。 


4.2 物 联网 多 源 异 构 数 据 融 合 系统 总 体 设 计 


4.2.1. 物 联网 多 源 异 构 数 据 融 合 系统 设计 思想 


鉴于 物 联 网 数据 的 异 构 海量. 分布 性 和 决策 控制 的 实时 性 ,已 有 的 分 
布 式 数据 管理 系统 无 法 高 效 地 针对 各 类 异 构 数 据 进 行 自 适应 扩展 ,而 且 缺 
乏 智 能 化 的 数据 管理 和 处 理 功能 。 本 章 通 过 分 析 数 据 处 理 需 求 的 多 样 性 与 
数据 处 理 机 制 的 高 效 之 间 的 矛盾 ,构建 基于 Hadoop 的 物 联网 多 源 异 构 数据 
融合 系统 ,利用 Hadoop 框架 中 MapReduce 计算 模型 和 HDFS 分 布 式 文件 
系统 对 海量 数据 的 处 理 优势 ,实现 系统 的 高 可 用 性 、 可 扩展 性 及 实时 的 数据 
融合 处 理 。 

1. 虚拟 数据 库 技术 

虚拟 数据 库 是 描述 异 构 数据 源 特性 的 数据 库 ,在 访问 异 构 数据 源 信息 
之 前 需要 利用 虚拟 数据 库 进行 数据 信息 定位 。 虚 拟 数 据 库 管 理 技术 是 整 
合 多 异 构 数 据 源 的 有 力 工具 , 随 着 数据 量 的 剧 增 ,虚拟 数据 库 管 理 技 术 变 
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得 日 益 频繁 ,许多 异 构 数据 源 的 融合 过 程 都 借用 该 技术 完成 。 虚 拟 数据 库 
技术 使 外 部 数据 源 成 为 企业 关系 数据 库 系 统 的 外 延 ,应 用 程序 可 通过 它 为 
分 散在 各 种 原始 数据 源 中 的 数据 提供 访问 服务 。 虚 拟 数据 库 收集 、 组 织 、 
集成 来 自 这 些 源 的 数据 ,并 为 应 用 程序 提供 单一 、 规 范 的 关系 数据 库 的 数 
据 外 貌 。 

本 书 使 用 虚拟 数据 库 法 进行 数据 的 底层 融合 ,数据 存储 位 置 保持 不 变 ， 
集成 共享 系统 提供 一 个 虚拟 的 数据 库 平台 以 及 在 这 个 平台 上 查询 、 增 加 、 删 
除 、 修 改 数据 。 用 户 访问 操作 异 构 数据 时 ,只 需要 指定 所 需要 的 数据 ,而 不 
关心 数据 模式 、 数 据 抽 取 、 合 成 以 及 这 些 数 据 获 取 等 细节 。 虚 拟 数据 库 系 统 
结构 如 图 4. 1 所 示 。 


用 户 接口 


| 


对 象 操作 


! 


虚拟 数据 库 


对 象 解析 器 


SE ae 


数据 源 SQL 适配器 


对 象 合成 


封装 返回 值 


数据 库 连 接 池 


图 4.1 虚拟 数据 库 系统 结构 图 


虚拟 数据 库 是 一 个 虚拟 、 统 一 的 数据 交换 视图 平台 ,用 户 可 以 透明 地 访 
问 。 其 主要 的 工作 模块 包括 虚拟 数据 库 访 问 接口 ,对象 解析 器 .数据 源 SQL 
适配器 ,数据 源 连接 池 、 封 装 返 回 值 .对 象 合 成 等 。 
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(1) 虚拟 数据 库 访 问 接口 。 

虚拟 数据 库 访 问 接口 作为 用 户 或 应 用 程序 访问 异 构 数据 库 的 通道 , 它 
只 需 用 户 或 应 用 程序 提供 指定 数据 ,不 必 关 心底 层 实 现 细节 ,最 终 返 回 所 需 
的 结果 。 在 本 系统 中 ,定义 的 访问 接口 如 下 : 

public boolean insert(Object obj) 

public boolean update(Object obj) 

public boolean delete(Object obj) 

public boolean insert(Object obj, String databaseName) 

public boolean update(Object obj, String databaseName) 

public boolean delete( Object obj, String databaseName) 

public Object select (Integer id, Class cls); 

public List select(Class cls, String where, int first, int end) 

以 上 的 接口 中 obj 为 指定 的 数据 操作 对 象 ; databaseName 是 指定 的 数 
据 源 或 数据 库 的 名 字 , 当 没有 指定 时 ,系统 自 适应 匹配 数据 源 或 数据 库 ; id 
为 对 象 的 唯一 编号 ,对 应 关系 模式 中 的 主键 ; cls 为 数据 操作 对 象 按 指定 的 
方式 注册 生成 的 字 节 码 ; where 是 查询 语句 的 条 件 ; first 是 查询 记录 的 起 始 
位 置 ; end 是 查询 记录 的 结束 位 置 。 

(2) 对 象 解析 器 。 

对 象 解析 器 主要 实现 将 用 户 或 系统 程序 传人 接口 中 的 对 象 进行 分 解 ， 
获得 对 象 的 属性 以 及 对 应 的 值 . 属 性 与 属性 值 之 间 的 关系 ,为 数据 源 SQL 适 
配器 生成 对 应 的 SQL 语句 做 准备 。 

(3) 数据 源 SQL 适配器 。 

不 同 数据 库 不 仅 在 存储 模式 上 存在 差异 ,而 且 数据 的 类 型 也 可 能 不 同 ， 
fili, MySQL, Oracle, SQL Server 等 。 因 此 需要 一 个 特定 的 数据 源 SQL 适 
配器 生成 对 应 的 SQL 执行 语句 ,屏蔽 底层 细节 。 数 据 源 SQL 适配器 主要 包 
括 指定 数据 库 数 据 类 型 转换 生成 执行 语句 谓词 生成 等 。 本 系统 采用 注册 
方式 来 实现 数据 源 SQL 适配器 ,首先 系统 实现 了 一 个 公共 的 数据 类 型 和 公 
3t SQL 语句 生成 的 类 ,而 特定 的 数据 库 通过 继承 公共 类 重 载 或 覆盖 成 员 来 
产生 特定 的 数据 类 型 或 SQL 语句 ,然后 扩展 出 对 不 同 数据 库 的 支持 ,最 终 实 
现 数据 源 SQL 适配器 。 

(4) 数据 源 连 接 池 。 

对 于 每 一 个 数据 库 都 对 应 一 个 数据 库 连 接 ,而 且 每 个 连接 建立 、 释 放 占 
据 大 部 分 时 间 和 资源 。 因 此 ,建立 一 个 数据 源 连接 池 来 提高 系统 运行 效率 。 
数据 源 连接 池 可 以 同时 管理 和 维护 多 个 数据 库 连 接 。 当 系统 需要 建立 数据 


第 4 章 物 联网 多 源 异 构 数据 融合 原型 系统 的 实现 


库 连 接 时 ,不 是 直接 与 数据 库 建 立 连 接 , 而 是 查看 数据 源 连接 池 中 是 否 存在 
连接 。 如 果 有 , 则 从 数据 源 连接 池 中 取出 ; 否则 ,直接 与 数据 库 建立 连接 。 
当 系统 不 需要 连接 时 ,不 是 直接 释放 连接 ,而 是 查看 数据 源 连接 池 中 是 否 有 
空间 可 以 存放 ,如 果 有 , 则 放 入 其 中 ,否则 关闭 连接 并 释放 所 占用 的 资源 。 
在 本 系统 中 应 用 程序 可 通过 Hash 函数 值 索 引 从 数据 源 连接 池 中 获得 数据 
库 连 接 , 并 在 数据 源 连接 池 空 间 不 足 时 ,使 用 LUR( 最 近 最 少 使 用 ) 算 法 进行 
连接 替换 。 同 时 ,对 不 同 数据 库 连 接 支持 通过 类 似 数据 源 SQL 适配器 的 注 
册 方 式 进行 动态 扩展 。 

(5) 封装 返回 值 。 

由 于 使 用 SQL 语句 进行 查询 ,所 得 结果 是 结构 化 的 记录 ,而 系统 中 操作 
与 返回 集 都 是 面向 对 象 的 形式 。 因 此 ,需要 对 象 封装 器 将 结构 化 记录 转化 
成 一 个 具体 的 对 象 。 对 象 封装 器 采用 对 象 解析 器 逆向 过 程 。 

(6) 对 象 合 成 。 

查询 结果 通常 不 只 是 一 个 对 象 , 往 往 是 一 个 对 象 的 集合 。 因 此 ,需要 在 
对 象 封装 的 基础 上 进行 合成 过 滤 掉 相同 的 结果 值 ,同时 在 这 个 过 程 中 ,进行 
权限 控制 以 及 增加 其 他 限制 条 件 ,对 拥有 不 同 权限 的 用 户 或 应 用 程序 ,返回 
不 同 的 结果 集 。 在 本 系统 中 目前 还 没有 着 重 实现 权限 控制 。 

2. MapReduce 模型 

MapReduce 是 面向 大 数据 并 行 处 理 的 计算 模型 .框架 和 平台 ,具有 以 下 
三 层 含义 。 

(1) MapReduce 是 一 个 基于 集群 的 高 性 能 计算 平台 ,可 使 用 市 场 上 普 
通 的 商用 服务 器 构成 一 个 包含 数 十 、 数 百 帮 至 数 千 个 节点 的 分 布 和 并 行 计 
算 集群 。 

(2) MapReduce 是 一 个 并 行 计算 与 运行 软件 框架 ,能 自动 完成 计算 任 
务 的 并 行 化 处 理 , 自 动 划 分 计算 数据 和 计算 任务 ,在 集群 节点 上 自动 分 配 和 
执行 任务 以 及 收集 结果 ,将 数据 分 布 存 储 、 数 据 通信 ,容错 处 理 等 并 行 计算 
涉及 很 多 系统 底层 的 复杂 细节 由 系统 负责 处 理 。 

(3) MapReduce 是 一 个 并 行程 序 设计 模型 与 方法 ,提供 了 一 种 简便 的 
行程 序 设计 方法 ,用 Map 和 Reduce 两 个 函数 编程 实现 基本 的 并 行 计算 
任务 ,提供 了 抽象 的 操作 和 并 行 编程 接口 ,以 简便 完成 大 规模 的 编程 和 计 
算 处 理 。MapReduce 是 用 来 处 理 数 据 的 编程 模型 ,通常 用 于 大 规模 数据 集 
并 行 处 理 , 它 将 任务 分 成 更 多 更 细 的 子 任务 ,并 且 在 空闲 的 处 理 节点 之 间 
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调度 这 些 子 任务 ,从 而 快速 处 理 数据 ,最 后 按照 特定 的 规则 ,合并 中 间 结 果 
并 生成 最 终 的 结果 。MapReduce 是 按照 传统 编程 模式 中 的 分 解 归纳 方法 
处 理 的 ,优势 在 于 处 理 大 量 数据 集 。MapReduce 的 工作 过 程 Map 和 
Reduce 阶段 ,输入 和 输出 都 是 键 / 值 对 ,并 且 它 们 的 类 型 可 由 程序 员 自 己 
定义 。 图 4. 2 所 示 的 是 MapReduce 中 Map 与 Reduce( 多 个 ) 任 务 数据 
流 图 。 


reduce pH RAI 


reduce [一 | 集合 2 一 一 


图 4.2 MapReduce 中 Map 与 Reduce( 多 个 ) 任 务 数据 流 图 


MapReduce 作业 的 客户 端 执行 单元 由 输入 的 数据 .MapReduce 和 配置 
信息 组 成 。 在 运行 过 程 中 作业 被 划分 成 若干 子 任务 ,其 中 包括 两 种 类 型 的 
任务 : Map 任务 和 Reduce 任务 。 原 型 系统 添加 了 一 个 集成 任务 一 一 集成 异 
构 数 据 源 ,目的 在 于 方便 Reduce 任务 对 异 构 数 据 源 数 据 进 行 融合 。 系 统 由 
两 种 类 型 的 节点 控制 作业 执行 一 一 jobtracker 以 及 多 个 tasktracker， 
jobtracker 取得 异 构 数据 源 地 址 ,jobtracker 通过 在 tasktracker 上 做 Map 运 
算 ,并 产生 中 间 输 出 ,同时 调度 任务 tasktracker 协调 所 有 作业 在 系统 上 运 
行 。tasktracker 运行 任务 时 ,将 进度 报告 发 送 给 jobtracker,jobtracker 记录 
每 个 任务 的 整体 进度 。 如 果 任 务 失 败 ,jobtracker 可 以 重新 安排 任务 到 
tasktracker。 本 系统 中 ,将 各 个 异 构 数据 源 中 相关 的 数据 表 划 分 成 一 个 输入 
分 片 ,发 送 到 Map Reduce, 再 为 每 一 个 输入 分 片 创建 一 个 Map 任务 ,由 它 运 
行 系统 自 定义 的 Map 函数 来 分 析 每 一 个 异 构 数据 源 中 的 数据 。 

3. Hadoop 系统 分 布 式 存储 与 并 行 计算 架构 

从 硬件 体系 结构 上 看 ,Hadoop 系统 是 一 个 运行 于 普通 的 商用 服务 器 集 
群 的 分 布 式 存储 和 并 行 计算 系统 。 集 群 中 将 有 一 个 主 控 节 点 用 来 控制 和 管 
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理 整 个 集群 的 正常 运行 ,并 协调 管理 集群 中 各 个 从 节点 完成 的 数据 存储 和 
计算 任务 。 每 个 从 节点 将 同时 担任 数据 存储 节点 和 数据 计算 节点 两 种 角 
色 , 这 样 设计 的 目的 主要 是 在 数据 环境 下 实现 尽 可 能 的 本 地 化 计算 ,以 此 提 
高 系统 的 处 理性 能 。 为 了 能 及 时 检测 和 发 现 集群 中 某 个 从 节点 发 生 故 障 失 
效 , 主 控 节 点 采用 心跳 机 制定 期 检测 从 节点 ,如 果 从 节点 不 能 有 效 回 应 心跳 
信息 , 则 系统 认为 这 个 从 节点 失效 。 

从 软件 系统 角度 看 , Hadoop 系统 包括 分 布 式 存储 和 并 行 计 算 两 个 部 
分 。 分 布 式 存储 构架 上 ,Hadoop 基于 每 个 从 节点 上 的 本 地 文件 系统 ,构建 
一 个 逻辑 上 整体 化 的 分 布 式 文件 系统 ,以 此 提供 大 规模 可 扩展 的 分 布 式 数 
据 存储 功能 。 这 个 分 布 式 文件 系统 称 为 HDFS (Hadoop Distributed File 
System) ,其 中 ,负责 控制 和 管理 整个 分 布 式 文件 系统 的 主 控 节点 称 为 
NameNode, 而 每 个 具体 负责 数据 存储 的 从 节点 称 为 DataNode。 图 4.3 所 
示 的 是 Hadoop 系统 分 布 式 存储 与 并 行 计 算 集群 。 


HDFS MapReduce 
分 布 式 文件 系统 计算 框架 


集群 主 控 节点 
HDFS E d p^ 点 
Nan 


MapReduce 主 控 节点 
— - 46bFrasker 


| TaskTra (aa Tracker b 

| DataNoder | ( DataNoder ] 

CD = 
9 || Sls DO 


从 节点 从 节点 从 节点 


SEKR 


图 4.3 Hadoop 系统 分 布 式 存储 与 并 行 计算 集群 
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进一步 ,为 了 能 对 存储 在 HDFS 中 的 大 规模 数据 进行 并 行 化 计算 处 理 ， 
Hadoop 又 提供 了 一 个 称 为 MapReduce 的 并 行 化 计算 框架 。 该 框架 能 有 效 
管理 和 调度 整个 集群 中 的 节点 来 完成 并 行 化 程序 的 执行 和 数据 处 理 , 并 能 
让 每 个 从 节点 尽 可 能 对 本 地 节点 上 的 数据 进行 本 地 化 计算 ,其 中 ,负责 管理 
和 调度 整个 集群 进行 计算 的 主 控 节 点 称 为 JobTracker, 而 每 个 负责 具体 数 
据 计 算 的 从 节点 称 为 TaskTracker。JobTracker 可 以 与 负责 管理 数据 存储 
的 主 控 节 点 NameNode 设置 在 同一 个 物理 的 主 控 服务 器 上 ,在 系统 规模 较 
大 、 各 自负 载 较 重 时 两 者 也 可 以 分 开设 置 。 但 数据 存储 节点 DataNode it 
算 节点 TaskTracker 会 配对 地 设置 在 同一 个 物理 的 从 节点 服务 器 上 。 
Hadoop 是 对 大 量 数 据 进行 分 布 式 处 理 的 软件 框架 ,其 提供 分 布 式 文件 系统 
HDFS, MapReduce 计算 框架 以 及 HBase 非 结 构 化 数据 库 等 。 使 用 
Hadoop, 可 以 实现 控制 和 管理 集群 ,更 方便 地 构建 企业 级 应 用 程序 。 
Hadoop 的 海量 数据 管理 和 分 布 式 数据 处 理 ,能 够 在 系统 本 身 屏蔽 传统 的 分 
布 式 计 算 的 数据 分 割 和 错误 管理 ,从 而 提高 系统 的 可 扩展 性 和 可 靠 性 。 用 
户 可 以 更 多 地 关注 自身 的 数据 处 理 和 分 析 应 用 。 

4. 分 布 式 文件 系统 HDFS 

HDFS 是 一 个 类 似 于 Google GFS 的 开源 的 分 布 式 文件 系统 。 它 提供 
了 一 个 可 扩展 、 高 可 靠 、 高 可 用 的 大 规模 数据 分 布 式 存 储 管理 系统 ,基于 物 
理 上 分 布 在 各 个 数据 存储 节点 的 本 地 Linux 系统 的 文件 系统 ,为 上 层 应 用 
程序 提供 了 一 个 逻辑 上 成 为 整体 的 大 规模 数据 存储 文件 系统 。 与 GFS 类 
似 ,HDFS 采用 多 副本 (默认 为 3 个 副本 ) 数 据 宛 余 存储 机 制 , 并 提供 了 有 效 
的 数据 出 错 检 测 和 数据 恢复 机 制 ,大 大 提高 了 数据 存储 的 可 靠 性 。 

HDFS 是 一 个 建立 在 一 组 分 布 式 服务 器 节点 的 本 地 文件 系统 之 上 的 分 布 
式 文件 系统 。HDFS 采用 经 典 的 主 - 从 式 结构 ,其 基本 组 成 结构 如 图 4.4 所 示 。 

HDFS 具有 下 列 六 种 基本 特征 。 

(1) 大 规模 数据 分 布 存储 能 力 。 

HDFS 以 分 布 存储 方式 和 良好 的 可 扩展 性 提供 了 大 规模 数据 的 存储 能 
力 , 可 基于 大 量 分 布 节点 上 的 本 地 文件 系统 ,构建 一 个 逻辑 上 具有 巨大 容量 
的 分 布 式 文件 系统 ,并 且 整 个 文件 系统 的 容量 可 随 集群 中 节点 的 增加 而 线 
性 扩展 。 
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应 用 程序 文件 名 或 数据 块 号 HDFS 
HDFSXPu [C SURRE. SHEI File NameSpace 
SS 
| DataNoder | | DataNoder | 
| cinux 系 统 | | cinux 系 统 |} 

口 口 
从 节点 从 节点 从 节点 


图 4.4 HDFS 基本 结构 


(2) 高 并 发 访问 能 力 。 

HDFS 以 多 节点 并 发 访问 方式 提供 很 高 的 数据 访问 带宽 (高 数据 吞吐 
率 ) ,并 且 可 以 把 带宽 的 大 小 等 比例 扩展 到 集群 中 的 全 部 节点 上 。 

(3) 强大 的 容错 能 力 。 

在 HDFS 的 设计 理念 中 ,硬件 故障 被 视 作 是 一 个 常态 。 因 此 ,HDFS 的 
设计 思路 保证 了 系统 能 在 经 常 有 节点 发 生硬 件 故 障 的 情况 下 正确 检测 硬件 
故障 ,并 且 能 自动 从 故障 中 快速 恢复 ,确保 数据 不 丢失 。 为 此 ,HDFS 采用 
多 副本 数据 块 形式 存储 (默认 副本 数目 是 3) ,按照 块 的 方式 随机 选择 存储 

(4) 顺序 式 文件 访问 。 

大 数据 批 处 理 在 大 多 数 情况 下 都 是 大 量 简单 数据 记录 的 顺序 处 理 。 针 
对 这 个 特性 ,为 了 提高 大 规模 数据 访问 的 效率 ,HDFS 对 顺序 读 出 进行 了 优 
化 ,支持 大 量 数据 的 快速 顺序 读 出 ,代价 是 对 于 随机 的 访问 负载 较 高 。 

(5) 简单 的 一 致 性 模型 。 

HDFS 采 用 了 简单 的 “一 次 写 多 次 读 ” 模 式 访问 文件 ,支持 大 量 数 据 的 
一 次 写 入 、 多 次 读 取 ; 不 支持 已 写 人 数据 的 更 新 操作 ,允许 在 文件 尾部 添加 
新 的 数据 。 

(6) 数据 块 存 储 模 式 。 

与 常规 的 文件 系统 不 同 , HDFS 采用 基于 大 粒度 数据 块 的 方式 存储 文 
件 , 默 认 的 块 大 小 是 64MB, 这 样 做 的 好 处 是 可 以 减少 元 数据 的 数量 ,并 且 可 
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以 允许 将 这 些 数据 块 通过 随机 方式 选择 节点 ,分 布 存储 在 不 同 的 地 方 。 

一 个 HDFS 文件 系统 包括 一 个 主 控 节 点 NameNode 和 一 组 DataNode 
从 节点 。NameNode 是 一 个 主 服务 器 ,用 来 管理 整个 文件 系统 的 命名 空间 
和 元 数据 ,以 及 处 理 来 自 外 界 的 文件 访问 请 求 。NameNode 保存 了 文件 系 
统 的 三 种 元 数据 : 命名 空间 , 即 整个 分 布 式 文件 系统 的 目录 结构 ; 数据 块 
与 文件 名 的 映射 表 ; 每 个 数据 块 副本 的 位 置信 息 , 每 一 个 数据 块 默 认 有 3 
个 副本 。 

HDFS 对 外 提供 了 命名 空间 ,让 用 户 的 数据 可 以 存储 在 文件 中 ,但 是 在 
内 部 ,文件 可 能 被 分 成 若干 个 数据 块 。DataNode 用 来 实际 存储 和 管理 文件 
的 数据 块 。 文 件 中 的 每 个 数据 块 默认 的 大 小 为 64MB; 同时 为 了 防止 数据 
丢失 ,每 个 数据 块 默认 有 3 个 副本 , 且 3 个 副本 会 分 别 复制 在 不 同 的 节点 上 ， 
以 避免 一 个 节点 失效 造成 一 个 数据 块 的 彻底 丢失 。 

Hadoop 程序 开发 与 作业 提交 的 基本 过 程 为 : 

A) 在 本 地 完成 程序 编写 和 调试 , 即 在 自己 本 地 安装 了 单机 分 布 式 或 单 
机 伪 分 布 式 Hadoop 系统 的 机 器 上 ,完成 程序 编写 和 调试 工作 。 

(2) 创建 用 户 账户 。 为 了 能 访问 Hadoop 集群 提交 作业 ,需要 为 每 个 程 
序 用 户 创建 一 个 账户 ,获取 用 户 名 、 密 码 等 信息 。 

CD 将 数据 和 程序 传送 到 Hadoop 集群 ,准备 好 数据 和 程序 目录 ,用 sep 
命令 传送 到 Hadoop 平台 主机 上 。 

© 用 SSH 命令 远程 登录 到 Hadoop 集群 。 

C 将 数据 复制 到 HDFS 中 ,进入 到 程序 包 所 在 的 目录 ,用 hadoop dfs- 
put 命令 将 数据 从 Linux 文件 系统 中 复制 到 HDFS 中 。 

@ 用 hadoop jar 命令 向 Hadoop 提交 计算 作业 。 在 这 里 需要 注意 ,如 
果 程 序 中 涉及 HDFS 的 输出 目录 ,这 些 目录 事先 不 能 存在 , 若 存 在 ,需要 先 
删除 。 

5. 内 存 数据 库 

在 某 种 程度 上 ,实时 性 可 以 看 作物 联网 业务 应 用 的 生命 ,为 了 满足 实时 
性 的 要 求 ,本 小 节 利 用 内 存 数据 库 中 高 效 的 数据 处 理 与 缓存 机 制 ,支持 物 联 
网 对 数据 信息 实时 性 的 要 求 。 内 存 数据 库 是 指数 据 存 取 通 过 内 存 实现 的 一 
类 数据 库 , 与 从 磁盘 上 读 取 数据 的 数据 库 相 比 ,内 存 数 据 库 能 够 大 大 提高 读 
取 的 速度 ,减少 数据 库 访问 的 时 间 。 

采用 虚拟 视图 的 方式 ,对 异 构 数据 源 元 数据 进行 统一 数据 集成 ,建立 各 
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个 异 构 数 据 源 视图 虚拟 映射 ,制定 统一 的 全 局 视图 。 在 此 基础 上 做 实时 更 
新 处 理 , 将 查询 得 到 的 实时 数据 信息 从 各 个 异 构 数 据 源 转换 到 数据 融合 模 
块 中 ,并 结合 新 的 数据 融合 算法 将 数据 整合 为 对 应 用 户 请 求 的 标准 数据 格 
式 ,存储 到 内 存 数 据 库 中 , 当 用 户 发 出 请 求 时 ,发送 给 用 户 。 

由 于 内 存 数 据 库存 储 容量 小 ,因此 对 于 内 存 数据 库 中 的 实时 数据 要 定 
期 返回 到 融合 数据 模块 中 ,可 以 采用 最 近 常 用 算法 和 最 新 数据 信息 算法 实 
D. 融合 数据 模块 中 的 数据 经 过 物 联网 管理 模块 将 数据 存 人 数据 仓库 ,该 
模块 主要 完成 以 下 功能 : 作为 数据 暂 存 区 ,存储 并 管理 来 自 融 合 数据 模块 
的 实时 数据 。@ 定 期 向 数据 仓库 批量 更 新 数据 ,以 便 用 户 对 历史 信息 的 查 
询 。@ 通 过 最 近 常 用 算法 将 数据 仓库 中 的 最 近 频 繁 使 用 的 数据 导入 融合 数 
据 模 块 的 缓存 , 供 内 存 数据 库 实时 调用 。 

6. 物 联网 多 源 异 构 数 据 融 合 方法 

本 小 节 设计 了 物 联网 多 源 异 构 数 据 融 合 方法 ,由 数据 来 源 子 系统 采集 
多 源 数据 ; 使 用 场景 规则 库存 储 基于 不 同 场景 设 定 的 场景 规则 ; 构建 数据 
融合 子 系统 将 所 述 多 源 异 构 数 据 集 进行 数据 融合 ,形成 分 析 数 据 集 ,根据 所 
述 场景 规则 关联 所 述 分 析 数据 集 ,输出 基于 所 述 场景 规则 的 融合 数据 库 ， 融 
合 数据 库 子 系统 ,用 于 存储 基于 所 述 场景 规则 的 融合 数据 库 。 通 过 上 述 系 
统 和 方法 ,能 够 解决 不 同 场景 下 的 数据 融合 的 需求 ,提高 数据 融合 的 有 效 
性 ,为 不 同 场景 的 需求 提供 准确 的 数据 信息 服务 。 

异 构 数据 集成 全 局 视图 是 根据 包含 在 各 个 数据 源 中 的 元 数据 信息 映射 
而 成 。 当 用 户 提 出 请 求 来 访问 系统 时 ,请 求解 析 器 中 的 算法 负责 将 该 请 求 
语言 根据 异 构 数 据 集成 全 局 视图 解析 成 对 应 各 个 本 地 数据 源 的 子 请 求 , 解 
析 完 成 后 将 子 请 求 进行 任务 分 配 再 交 给 执行 器 ,执行 器 将 请 求 分 类 后 将 这 
些 子 请 求 转换 成 本 地 数据 源 能 够 直接 执行 的 形式 ,在 对 应 的 数据 源 中 执行 
请 求 , 最 后 融合 子 请 求 结果 并 处 理 请 求 结果 中 可 能 的 冲突 和 不 一 致 性 ,将 结 
果 转 化 成 用 户 需求 的 格式 传输 给 用 户 。 

多 个 分 布 式 数据 源 中 的 数据 需要 在 虚拟 数据 库 中 集成 使 用 的 情况 下 ， 
为 了 取得 必要 的 数据 ,有 时 需要 连接 多 张 分 布 式 的 表 , 可 以 向 每 个 分 布 式 数 
据 源 发 送 SELECT 命令 ,将 检索 得 到 的 数据 在 虚拟 数据 库 服 务 器 上 进行 连 
接 操 作 。 另 外 ,也 可 以 把 需要 的 数据 移 到 其 中 一 个 分 布 式 数据 源 中 进行 连 
接 操作 ,只 需要 把 连接 的 结果 返回 给 虚拟 数据 库 服务 器 。 
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4.2.2 物 联网 多 源 异 构 数据 融合 系统 架构 


物 联网 多 源 异 构 数 据 融合 系统 由 数据 采集 层 、 数 据 融合 处 理 层 组 成 ,如 
图 4.5 所 示 。 


业务 回复 业务 请 求 


异 构 数据 虚拟 数据 库 


内 存 数据 库 


x 

* 

$ 

E 

8E 
E 


数据 融合 封装 器 | 执行 器 
数据 源 1 数据 源 2 数据 源 3 


oe e 


图 4.5 物 联 网 多 源 异 构 数据 融合 系统 架构 


底层 是 数据 采集 层 , 传 感 器 采集 的 数据 通过 无 线 网 络 传输 到 本 地 数据 库 
中 。 监 视 模块 可 实时 监督 虚拟 数据 库 的 动态 ,主要 完成 的 功能 是 : 当 本 地 数据 
库 结构 发 生 改变 时 ,及 时 通知 虚拟 数据 库 并 更 新 虚拟 数据 库 中 的 全 局 视图 。 

数据 融合 处 理 层 由 五 部 分 组 成 : 请 求解 析 器 、 执 行 器 、 源 数据 库 、 异 构 数 
据 虚 拟 数据 库 以 及 封装 器 。 

数据 的 融合 处 理 过 程 为 : 请 求解 析 器 模块 接收 从 上 层 传送 的 请 求 , 经 过 
封装 器 处 理 后 进行 任务 分 配 结果 ,将 结果 传送 给 执行 器 并 调用 MapReduce 
过 程 。 解 析 器 需要 知道 各 个 异 构 数 据 源 的 元 数据 。 为 了 确保 每 个 用 户 能 够 
得 到 正确 的 元 数据 信息 ,系统 调用 异 构 数据 虚拟 数据 库 监视 模块 来 处 理 连 
续 更 新 的 问题 。 封 装 器 与 数据 融合 模块 对 最 后 数据 结果 做 融合 处 理 并 封装 
好 后 传输 给 用 户 。 
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4.2.3 物 联网 多 源 异 构 数 据 融合 系统 功能 模块 


l. 虚拟 数据 库 

虚拟 数据 库 中 的 异 构 数据 源 全 局 视图 是 根据 包含 在 各 个 数据 源 中 的 元 
数据 信息 映射 而 成 ,以 方便 应 用 程序 开发 人 员 直 接 面 向 虚拟 数据 库 中 的 异 
构 数 据 源 。 虚 拟 数据 库 除了 上 面 所 提 到 的 功能 ,还 要 定期 检查 监视 模块 是 
否 在 本 地 数据 源 发 生 改 变 时 自动 在 虚拟 数据 库 中 更 新 异 构 数 据 源 全 局 视 
图 ,检查 请 求 是 否 超 出 用 户 权限 ,检查 新 注册 的 数据 源 及 已 经 注销 的 数据 
源 等 。 

2. 请 求解 析 器 

当 用 户 提 出 请 求 时 ,请 求解 析 器 负责 检查 该 请 求 语句 的 语法 和 语义 ,以 
及 用 户 的 访问 权限 ,并 判断 用 户 请 求 涉 及 哪些 本 地 数据 源 , 并 根据 异 构 数据 
源 全 局 视图 解析 成 对 应 各 个 本 地 数据 源 的 子 请 求 , 将 子 请 求 进行 任务 分 配 

给 执行 器 。 

3. 执行 器 

执行 器 将 子 请 求 转换 成 本 地 数据 源 能 够 直接 执行 的 形式 ,在 对 应 的 数 
据 源 中 执行 请 求 。 E F R: 
子 请 求 在 管理 控制 下 ,进行 Map 任务 调度 , Map 过 程 的 执行 结果 将 作为 输 
入 被 管理 控制 器 分 配 到 对 应 的 Reduce 函数 中 执行 Reduce 过 程 ,最 终 ， 
Reduce 将 结果 集成 到 融合 函数 ,进行 最 终 的 融合 过 程 并 将 结果 传 给 用 户 的 
同时 ,存储 到 虚拟 数据 库存 档 中 以 备 多 用 户 多 次 使 用 。 

4. 数据 融合 

执行 结 pe ee i? dcc d 致 性 ,并 
将 请 求 结果 融合 成 用 户 需 求 的 格式 传输 给 用 


4.2.4 ” 物 联 网 多 源 异 构 数据 融合 系统 环境 部 署 


1. 环境 监测 设备 部 署 

通过 在 校园 科研 楼 各 角落 安置 不 同 传感器 设备 ,收集 数据 ,实时 感知 室 
内 外 温度 和 湿度 ,网 关 收 集 的 数据 存储 于 多 个 平台 数据 库 服 务 器 中 , 当 用 户 
提出 请 求 时 ,请 求 通过 虚拟 数据 库 及 解析 服务 器 这 个 统一 接口 完成 请 求解 
析 及 任务 分 配 工作 ,再 将 任务 交 给 执行 器 服务 器 完成 数据 的 处 理工 作 。 虚 
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拟 数据 库 服 务 器 还 负责 定期 更 新 元 数据 信息 虚拟 数据 的 信息 工作 。 虚 拟 数 
据 库 服务 器 还 具有 维护 平台 用 户 信 息 存储 管理 和 鉴 权 工作 。 用 户 通 过 
Internet {ŽA ,并 与 通信 服务 器 相连 向 系统 提出 数据 融合 请 求 。 

本 实验 用 到 的 传 感 设备 有 深圳 市 讯 方 的 温度 .湿度 传感器 ,PH 2.5 传 感 
Dë Cross Bow 温 湿度 传感器 。 无 线 传 感 通信 设备 包括 : Zigbee WAM MX, 
Zigbee 路 由 器 、Zigbee 温 湿 度 终端 节点 和 Zigbee 智能 电 控 开关 。Zigbee 及 以 太 
网 网 关 可 以 和 Zigbee 终端 节点 ( 温 湿度 终端 节点 ) 自 动 组 网 ,从 而 实现 可 针对 
不 同 用 户 的 通信 要 求 ,用 户 可 以 根据 该 设备 强大 的 通信 和 扩展 性 能 设计 符合 
要 求 的 解决 方案 。Zigbe 智能 电 控 开 关 可 以 实现 远程 电源 控制 功能 ,从 而 实现 
智能 的 远程 交互 功能 。Cross Bow 温 湿 度 传感器 具有 自 定义 内 部 数据 库 ,数据 
解析 过 程 自动 完成 。 图 4. 6 所 示 的 是 物 联 网 工程 实验 室 实景 图 。 图 4.7 所 示 
的 是 物 联 网 实验 室 实 景 图 。 


图 4.6 物 联网 工程 实验 室 实景 图 


2. 物 联网 多 源 异 构 数据 融合 系统 架构 

物 联网 多 源 异 构 数 据 融 合 系统 采用 Hadoop 平台 ,其 架构 及 环境 参数 的 
设置 如 图 4.8 所 示 。 我 们 采用 在 四 台 PC 机 上 安装 VMware-workstation 的 
方法 ,在 每 台 PC 机 (Windows 7) 上 安装 4 台 Ubuntu 虚拟 机 。 

Hadoop 集群 共有 4 个 节点 : 一 个 Master 和 3 个 Slave 节点 ,Master 为 
主 节 点 Name Node.Slave Nodel,Slave Node2,Slave Node? 为 从 节点 Data 
Node。 在 环境 监测 系统 中 还 有 汇聚 服务 器 2 台 ,1 GAMBA MySQL 数据 库 
器 ,1 台 部 署 SQL Server 2008 数据 库 。Web 服务 器 与 Hadoop 部 署 在 
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图 4.7 物 联 网 实验 室 实景 图 


Master 
192.168.30.130 SS 192.168.220.130 192.168.50.130 


Slave2 
92.168.220.13 192.168.220.132 


Hadoop 集 群 


192.168.220.133 


汇聚 服务 器 [— 192.168.30.131 汇聚 服务 器 s 192.168.50.131 
t t 


AË ap CAP $ ale ate > Cum. ue 


T, 4 1 


环境 监测 物 联网 1 环境 监测 物 联网 2 
图 4.8 物 联网 多 源 异 构 数 据 融合 系统 架构 图 
Master 节点 。 相 关 配 置 分 别 见 表 4.1 一 表 4. 5。 
表 4.1 Master 节点 机 器 配置 


硬件 配置 参数 说 明 
CPU Intel Xeon E5-2630V3 
内 存 4GB 

硬盘 300GB 

操作 系统 Ubuntu 14. 04 (x64) 
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表 4.2 Slave 节点 机 器 配置 


硬件 配置 参数 说 明 
CPU Intel Xeon E5-2630V3 
内 存 2GB 
硬盘 250GB 
操作 系统 Ubuntu 14. 04 (x64) 
表 4.3 机 器 IP 地 址 配置 
节 点 IP 地 址 
192. 168. 30. 130 
Master 192. 168. 220. 130 
192. 168. 50. 130 
Slavel 192. 168. 220. 131 
Slave2 192. 168. 220. 132 
Slave3 192. 168. 220. 133 
汇聚 服务 器 1 192. 168. 30. 131 
汇聚 服务 器 2 192. 168. 50. 131 


表 4.4 环境 监测 物 联网 1 汇聚 服务 器 配置 


硬件 配置 参数 说 明 
CPU Intel i7-6500 

内 存 8GB 

硬盘 1000GB 

操作 系统 Windows Server 2008 
数据 库 系 统 SQL Server 2008 


表 4.5 环境 监测 物 联 网 2 汇聚 服务 器 配置 


硬件 配置 参数 说 明 
CPU Intel i7-6500 
内 存 8GB 
硬盘 1000GB 
操作 系统 Ubuntu 14. 04 (x64) 
数据 库 系统 MySQL 5.7 
所 有 节点 通过 一 个 1Gbps 的 网 络 交换 机 连接 在 一 起 。Master 节点 具有 


3 块 网 卡 。1 块 网 卡 与 从 节点 通信 
服务 器 1 ,最 后 1 块 与 环境 监测 物 


,1 块 网 卡 连接 环境 监测 物 联网 1 的 汇聚 
KR 2 的 汇聚 服务 器 2 相连 。 
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物 联网 多 源 异 构 数 据 融合 系统 中 使 用 的 软件 及 其 对 应 的 版 本 信息 如 
表 4.6 所 示 ,节点 上 操作 系统 为 Ubuntu, 同 时 执行 安装 并 配置 JDK 任务 ,使 
用 Zookeeper 进行 节点 机 器 管理 ,Redis 用 作 消 息 队 列 管理 。 


R46 物 联 网 多 源 异 构 数 据 融合 系统 软件 配置 


H P 版 本 信息 
Ubuntu 14. 04( x64) 
JDK Jdk_7u79_linux-x64 
Zookeeper 3.4.6 
Redis 2.8.23 
PHP 5.6 
Hadoop 2.6.5 


4.3 物 联网 多 源 异 构 数 据 融合 系统 具体 实现 与 
功能 测试 


物 联 网 多 源 异 构 数 据 融合 系统 基于 Hadoop 2. 6. 5, Apache? Http Server, 
PHP 和 MySQL 5.7 设计 开发 ,其 中 利用 Hadoop 平台 主要 完成 海量 异 构 数据 
的 融合 操作 ,简化 底层 运行 环境 的 开发 。 然 而 , 物 联 网 多 源 异 构 数据 融合 执行 
过 程 除了 需要 中 间 件 的 基本 服务 支撑 外 ,还 需要 维护 任务 间 的 执行 和 数据 依 
HK A ,实现 动态 的 任务 调度 和 数据 的 传输 等 较为 复杂 的 机 制 。 为 简化 物 联 
网 多 源 异 构 数据 融合 系统 的 开发 过 程 ,本 节 采 用 PHP, MySQL 和 Apache2 
Http Server 作为 实现 数据 融合 应 用 操作 的 基本 支撑 环境 。 

PHP 是 一 种 通用 开源 脚本 语言 ,使 用 广泛 ,主要 适用 于 Web 开发 领域 。 
PHP 独特 的 语法 混合 了 C.Java,Perl 以 及 PHP 自 创 的 语法 。 它 可 以 比 CGI 或 
Perl 更 快速 地 执行 动态 网 页 。 用 PHP 做 出 的 动态 页 面 与 其 他 的 编程 语言 
IE PHP 是 将 程序 戏 入 到 HTML( 标 准 通用 标记 语言 下 的 一 个 应 用 ) 文 档 中 执 
行 ,执行 效率 比 完 全 生成 HTML 标记 的 CGI 要 高 许多 ; PHP 还 可 以 执行 编译 
后 代码 ,编译 可 以 达到 加 密 和 优化 代码 运行 ,使 代码 运行 更 快 。 

Apache HTTP Server 是 Apache 软件 基金 会 的 一 个 开放 源 代码 的 网 页 
服务 器 ,可 以 在 大 多 数 电 脑 操作 系统 中 运行 ,由 于 其 具有 的 跨 平 台 性 和 安全 
性 ,被 广泛 使 用 ,是 最 流行 的 Web 服务 器 端 软件 之 一 。 它 快速 .可 靠 并 且 可 
通过 简单 的 API JJ . PHP.Perl/Python 解释 器 可 被 编译 到 服务 器 中 ,可 以 
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创建 一 个 每 天 有 数 百 万 人 访问 的 Web 服务 器 。 

MySQL 是 一 种 关系 数据 库 管 理 系统 ,关系 数据 库 将 数据 保存 在 不 同 的 
表 中 ,而 不 是 将 所 有 数据 放 在 一 个 大 仓库 内 ,这 样 运行 速度 加 快 并 提高 了 灵 
活性 。MySQL 所 使 用 的 SQL 语言 是 用 于 访问 数据 库 的 最 常用 标准 化 语 
言 。MySQL 体积 小 ,速度 快 ,总 体 拥有 成 本 低 , 尤 其 是 开放 源码 这 一 特点 ， 
一 般 中 小 型 网 站 的 开发 都 选择 MySQL 作为 网 站 数据 库 。 由 于 其 性 能 卓越 ， 
搭配 PHP 和 Apache 可 组 成 良好 的 开发 环境 。 

为 了 保证 数据 融合 处 理 在 环境 监测 系统 中 的 可 用 性 和 有 效 性 ,需要 进 
一 步 对 系统 进行 测试 ,来 支持 或 保证 系统 的 可 靠 性 。 功 能 测试 主要 对 系统 
中 的 各 个 功能 模块 根据 编写 出 的 测试 用 例 逐 项 检查 是 否 能 够 通过 ,首先 要 
对 单个 模块 逐 项 测试 ,然后 对 所 有 模块 集成 的 综合 测试 ,测试 所 有 模块 相互 
协同 工作 的 结果 是 否 正确 。 下 面 主要 针对 所 有 模块 进行 功能 测试 。 


4.3.1 Hadoop 部 署 和 功能 测试 


(1) Hadoop 环境 配置 。 
(D core-site. xml 配置 为 ， 


< configuration» 
< property? 
< name > hadoop. tmp. dir </name > 
< value >/usr/hadoop/tmp </value > 
< description > A base for other temporary directories. </description > 
</property> 
< property»? 
< nane > fs. defaultFS </name > 
< value» hdfs://master :9000 </value > 
</property> 
< property? 
< name> io. file. buffer. size </name> 
< value > 4096 </value> 
</property> 
</conf igurat ion > 


@hdfs-site. xml 配置 为 : 


<configuration> 
<property> 
<name> dfs. namenode. name. dir </name > 
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<value> file:///usr/hadoop/dfs/name </value > 
</property> 
< property? 
< name> dfs. datanode. data. dir </name > 
< value» file:///usr/hadoop/dfs/data </value > 
</property> 
< property > 
< name> dfs. replication </name > 
< value > 3 </value> 
</property> 
< property? 
< name > dfs. naneservices </name > 
< value» hadoop - cluster1 </value> 
</property> 
< property» 
< name > dfs. namenode. secondary. http — address </name > 
< value» master:50090 </value> 
</property> 
< property» 
< nane > dfs. webhdfs. enabled </name > 
< value > true </value > 
</ property > 
«/configuration» 


@mapred-site. xml 配置 为 : 


<configuration> 

<property> 
< name > napreduce. framework. name </name > 
< value» yarn </value> 
< final > true </final > 

</property> 

< property» 
< name > napreduce. jobtracker. http. address </name > 
< value > master: 50030 </value> 

</property> 

< property> 
« name » napreduce. jobhistory. address </name > 
< value > master: 10020 </value> 

</property> 

« property» 
< name > napreduce. jobhistory. webapp. address </name > 
« value» master:19888 </value> 


/ 


A 


FE 台 的 物 联网 多 源 异 构 信息 融合 方法 


可 
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</property> 
< property > 
« nane » napred. job. tracker </name > 
< value» http: //master:9001 </value> 
</property> 
</configuration > 


@yarn-site. xml 配置 为 : 


< configuration > 
<! —— Site specific YARN configuration properties 一 一 > 
< property» 
< name > yarn. resourcemanager. hostname </name > 
< value > master </value> 
</property> 
< property? 
< nane > yarn. nodemanager. aux — services </name > 
<value > mapreduce shuffle </value> 
«/ property? 
< property? 
< name > yarn. resourcemanager. address </name > 
< value» master:8032 «/value» 
</property> 
< property? 
< name > yarn. resourcemanager. scheduler. address </name > 
< value > master: 8030 </value> 
</property> 
< property» 
< name > yarn. resourcemanager. resource - tracker. address </name > 
< value > master:8031 </value> 
</property> 
< property? 
< name > yarn. resourcemanager. admin. address </name > 
< value? master: 8033 </value> 
</property> 
< property> 
< name > yarn. resourcemanager. webapp. address </name > 
< value» master:8088 </value> 
</property> 
</conf igurat ion > 


(2) Hadoop 集群 启动 情况 如 图 4. 9 和 图 4. 10 所 示 。 图 4.9 显示 的 是 
namenode 与 datanode 节点 启动 信息 ,图 4.10 显示 的 是 yarn 的 启动 信息 。 
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[hadoop@master sbin]$ ./start-dfs.sh 

17/10/22 21:16:49 WARN util.NativeCodeLoader: Unable to load native-hadoop libra| 
ry for your platform... using builtin-java classes where applicable 

Starting namenodes on [master] 

master: starting namenode, logging to /usr/hadoop/logs/hadoop-hadoop-namenode-ma 
ster.out 

node3: starting datanode, logging to /usr/hadoop/logs/hadoop-hadoop-datanode-nod| 
je3.out 

nodel: starting datanode, logging to /usr/hadoop/logs/hadoop-hadoop-datanode-nod; 
el.out 

node2: starting datanode, logging to /usr/hadoop/logs/hadoop-hadoop-datanode-nod 
ei. eut 

17/10/22 21:17:04 WARN util.NativeCodeLoader: Unable to load native-hadoop libra| 
ry for your platform... using builtin-java classes where applicable 
[hadoop@master sbin]$ jps 

3138 NameNode 

3333 Jps 


图 4.9 Hadoop 平台 namenode,datanode 启动 


hadoop@master:/usr/hadoop/sbin 


File Edit View Search Terminal Help 


3333 Jps ^ 
[hadoop@master sbin]$ ./start-yarn.sh 

starting yarn daemons 

starting resourcemanager, logging to /usr/hadoop/logs/yarn-hadoop- resourcemanage 
r-master.out 

node3: starting nodemanager, logging to /usr/hadoop/logs/yarn-hadoop- nodemanager| 
-node3.out 

node2: starting nodemanager, logging to /usr/hadoop/logs/yarn-hadoop-nodemanager| 
-node2.out 

nodel: starting nodemanager, logging to /usr/hadoop/logs/yarn-hadoop-nodemanager, 
-nodel.out 

[hadoop@master sbin]$ jps 

3646 Jps 

3386 ResourceManager 

3138 NameNode 


图 4.10 yarn 启动 


综合 图 4. 9 与 图 4. 10 可 看 出 ,Hadoop 已 正常 启动 ,可 接收 任务 进行 处 理 。 


4.3.2 数据 源 与 数据 映射 测试 


1. 数据 源 测试 

数据 源 连 接 及 检索 的 源 代码 如 图 4. 11 所 示 。 根 据 数据 源 的 不 同 , 分 别 
加 载 相应 的 数据 库 驱动 程序 MySQL 和 SQL Server 2008 , 读 取 相 关 数据 , 写 
入 到 文本 文件 中 , 供 数据 融合 时 调用 。 

图 4. 12 所 示 为 系统 生成 的 数据 文本 文件 。 

图 4.12(a) 显 示 的 是 环境 监测 物 联网 1 的 数据 ,包含 温度 .湿度 等 ; 
图 4.12(b) 显 示 的 是 环境 监测 物 联网 2 的 数据 ,包含 温度 .PH2. 5 等 。 


A 
8 


FG TEX e JS HAS BREST 


Ha Ha a Ha HH 


try { 


// SE 
Class. forName(driver); 


//1.getConnection() 方 法 ,连接 MySQL 数 据 库 ! ! 


con = DriverManager.getConnection(url,user,password) ; 
if(!con.isClosed()) 
System.out.println("Succeeded connecting to the Database!"); 


//2. 创 建 statement 类 对 象 ,用 来 执行 SQL 语句 ! ! 
Statement statement = 


// 要 执行 的 SQL 语句 


//String sgl = 


ResultSet rs 


“select * from data limit 1,1000"; 
/13.ResultSet 类 ,用 来 存放 获取 的 结果 集 ! ! 

statement .executeQuery(SqL) ; 
System.out.println("- LP 
System.out.printtn(" 执 行 结果 如 下 | 
System.out.println( 


con.createStatement() ; 


//System.out.println("nodeid" + "At" + "epo p"); 


//System.out.println(" 


//String job = null; 


//String id = 
File file =new File(dataFileName) ; 


null; 


if (!file.exists()) { 
file.createNewFile(); 


H 


String data-null; 
FileWriter fileWritter = new FileWriter(file.getName(),true); 


Bufferedwriter bufferwritter = 


122.153 
19.9884 
19.3024 
19.1652 
19.175 

19.1456 
19.1652 
19.1652 
19.1456 
19.1456 
19.1456 
19.1358 
19.1162 
19.1162 
19.1064 
19.1064 
19.0966 
19.0966 
19.0868 


图 4.11 异 构 数 据 源 数据 读 取 源码 

h 29. 

1 29. 

1 29. 

1 29. 

1 29. 
-3.91901 11.04 2.03397 1 E 
37.6933 45.08 2.69964 E 25. 
38.4629 45.08 2.68742 : Fem 
38.8039 45.08 2.68742 d 
38.8379 45.08 2.69964 z pe 
38.9401 45.08 2.68742 H 29: 
38.872 45.08 2.68742 a Fs 
38.8039 45.08 2.68742 1 29. 
38.8379 45.08 2.69964 1 29. 
38.872 45.08 2.68742 H 29. 
38.9401 45.08 2.69964 1 29. 
38.9061 45.08 2.68742 1 29. 
38.8039 45.08 2.69964 1 29. 
38.872 45.08 2.69964 1 29. 
39.0082 45.08 2.69964 1 29. 
38.872 43.24 2.69964 1 29. 
38.8039 43.24 2.69964 1 29. 
38.7357 43.24 2.69964 1 29. 
38.8039 43.24 2.69964 1 29. 

(a) 


图 4.12 环境 监测 物 联网 数据 
Ca) 环境 监测 物 联网 1 的 数据 ;(b) 环境 监测 物 联网 2 的 数据 


30000000000000000000000 


20000000000000000000000 
"o0000000000000000000000 


(b) 


new Bufferedwriter(filewritter); 


20170504165953 
20170504165954 
20170504165955 
20170504165956 
20170504165957 
20170504165958 
20170504165959 
20170504182755 
20170504182756 
20170504182757 
20170504182758 
20170504182759 
20170504182800 
20170504182801 
20170504182802 
20170504182803 
20170504182804 
20170504182805 
20170504182806 
20170504182807 
20170504182808 
20170504182809 
20170504187810 


第 4 章 ， 物 联网 多 源 异 构 数据 融合 原型 系统 的 实现 107 > 


2. 数据 属性 映射 与 功能 测试 


图 4. 13 所 示 为 数据 属性 的 映射 操作 ,为 简化 系统 的 复杂 度 ,加 上 数据 属 
性 较 少 ,暂时 采用 手工 的 方式 实现 异 构 数据 属性 的 映射 ,以 后 考虑 采用 语义 
映射 实现 。 


‘admin index.php Te |[& search we sn! 


aem | p o [omm i] 


图 4.13 多 源 异 构 数 据 属 性 映射 


4.3.3 数据 融合 功能 测试 


(1) 普通 用 户 提交 数据 融合 请 求 ,如 图 4. 14 Bros ,选择 数据 融合 场景 。 
数据 融合 场景 有 四 种 : 监控 设备 .监控 参数 ,监控 时 间 及 监控 区 域 。 


监控 参数 ”| 


图 4.14 数据 融合 场景 选择 


(2) 选择 要 进行 融合 的 数据 属性 ,如 图 4. 15 所 示 。 选 择 数据 属性 后 向 
系统 提交 融合 请 求 ,提交 请 求 后 ,用 户 可 通过 系统 的 短 消 息 模块 向 系统 管理 
员 发 送 提醒 ,提示 系统 管理 员 及 时 进行 数据 的 融合 。 

(3) 系统 管理 员 查 看 并 执行 数据 融合 业务 列表 ,如 图 4. 16 所 示 。 系 统 
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管理 员 根 据 用 户 的 要 求 , 及 时 进行 数据 融合 操作 ,并 将 结果 通过 短 消息 模块 
通知 用 户 ,提高 系统 的 响应 效率 。 


| 


x 
Xx 


序号 | us neg E 
O[2]| egenen light,vol,ph25 E: pm 0000-00-00 00:00:00 
Lei 监控 参数 业务 humi,light,vol,ph25 2017-08-18 03:27:53 
Oa 监控 参数 业务 light,vol,ph25 2017-08-19 03:14:36 


RES ， 


图 4.16 用 户 提交 的 数据 融合 请 求 列表 
物 联 网 多 源 异 构 数据 融合 系统 生成 数据 融合 请 求 结果 ,如 图 4. 17 所 示 。 


[C"driver":"com.mysql.jdbc.Driver","ur1":"192.168.50.105", "port":"3306", "db":"da 
tafusion", "user":"myportal", "password" :"123456", "fields": "moteid, temperature, hum 
1dity,light, voltage", "table": "data"}, 

parivar”: "com.microsoft.sqlserver.jdbc.SQLServerDriver", "ur1":"192.168.50.104", 

"port":"1433", "db" :"iot","user":"sa", "password" :"123456", "fields": "nodeid, teme, h 
umi,collecttime","table":"iot datacollect")] 


图 4.17 物 联 网 多 源 异 构 数据 融合 系统 生成 数据 融合 请 求 结果 


从 图 4.17 可 以 看 出 实验 部 分 所 用 到 的 数据 库 配 置 ,包括 多 源 异 构 数据 
库 的 驱动 程序 ,所 要 使 用 的 数据 库 .数据 表 及 每 个 源 数据 表 的 数据 属性 。 

CD 根据 用 户 请 求 , 系统 管理 员 在 Hadoop 集群 上 执行 融合 请 求 业务 ， 
如 图 4. 18 和 图 4. 19 所 示 。 


17/10/23 
17/10/23 
17/10/23 
17/10/23 
17/10/23 
17/10/23 
17/16/23 
17/10/23 
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17/10/23 
17/10/23 
17/10/23 
17/10/23 
17/18/23 
17/10/23 
17/10/23 
17/16/23 
17/18/23 
17/18/23 
17/10/23 
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14:59:39 
14:59:39 
14:59:39 
14:59:39 
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14:59:40 
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INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
14:59:40 INFO 
14:59:40 INFO 
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mapred.MapTas! 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 


LocalJobRunner: 
LocalJobRunner : 
Task: 


mapred.JobClient: 


mapred. LocalJobRunner: 


mapred.LocalJobRunner: 


mapred. JobClient: 
mapred.JobClient: Job 
mapred. JobClient 


mapred. JobClient: 
mapred. JobClient: 
mapred. JobClient: 


Using ResourceCalculatorPlugin : 
LocalJobRunner : 

Merger: Merging 2 sorted segments 
Merger: Down to the last merge-pass, with 2 segments left of total size 
LocalJobRunner: 

reduceSizeJoin.ReduceSideJoin LeftOuterJoin: datafusion: [122.153 -3.91901 
reduceSizeJoin.ReduceSideJoin LeftOuterJoin: iot:[29.9 
map 166% reduce 0% 

mapred.Task: Task:attempt 10cal1704431387 0001 r 000000 0 is done. And is in tl 


mapred.MapTask: Starting flush of map output 

Finished spill 8 

Task: Task:attempt 0call704431387 0081 m 600001 9 is done. And is in tl 
LocalJobRunner : 

Task: Task 'attempt 10c211704431387 0081 m 080001 8' done. 


Finishing task: attempt l0c211704431387 0001 m 000001 © 
Map task executor complete. 
org.apache. hadoop. util. LinuxRest 


29.0 — 0.8, 29.0 


mapred.Task: Task attempt locall704431387 0901 r 808000 9 is allowed to commit 
output.FileOutputCommitter: Saved output of task 'attempt l0cal1704431387 0001 


reduce » reduce 


mapred.Task: Task 'attempt local1704431387 6001 r 000000 0' done. 
map 


100% reduce 100% 
complete: job_local1704431387_0001 


Counters: 22 
File Output Format Counters 


Bytes Written-57399000 


FileSystemCounters 


FILE_BYTES_READ=72787 
HDFS BYTES READ=164137 


图 4.18 Hadoop 集群 上 执行 融合 请 求 业务 (一 ) 


m 
INFO 
INFO 
INFO 


map! cu. tea tvm 
mapred.Task: Task 


mapred.LocalJobRunt 
INFO mapred.Task: Task 
INFO mapred.JobClient: 
INFO mapred.JobClient: 
INFO mapred.JobClient: 
INFO mapred.JobClient: 
INFO mapred.JobClient: 
INFO mapred.JobClient: 
INFO mapred.JobClien 
INFO mapred.JobClient: 


INFO mapred.JobClient: 
INFO mapred.JobClient: 
INFO mapred.JobClien 
INFO mapred.JobClien’ 
INFO mapred.JobClien 
INFO mapred.JobClient: 
INFO mapred.JobClien’ 
INFO mapred.JobClien 


INFO mapred.JobClien 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 


mapred. JobClient: 


attempt locall704431387 0001 r 800080 8 is allowed t 


output.FileOutputCommitter: Saved output of task 'attempt locall704431 


mer: reduce > reduce 
'attempt l0call704431387 0001 r 000000 0' done. 
map 106% reduce 166% 
Job complete: job 10call704431387 0001 
Counters: 22 
File Output Format Counters 
Bytes Written=57399000 
FileSystemCounters 
FILE BYTES READ-72787 
HDFS | BYTES | READ-164137 
FILE BYTES WRITTEN-387314 
HDFS BYTES WRITTEN-57399000 
File Input Format Counters 
Bytes Read-65634 
Map-Reduce Framework 
Map output materialized bytes-71411 
Map input records-2000 
Reduce shuffle bytes=0 
Spilled Records=4600 
Map output bytes=67399 
Total committed heap usage (bytes)-460075008 
CPU time spent (ms)=9 
SPLIT RAW BYTES-231 
Combine input records-8 
Reduce input records=2000 
Reduce input groups=1 
Combine output records-8 
Physical memory (bytes) snapshot=0 
Reduce output records-1000000 
Virtual memory (bytes) snapshot-8 
Map output records=2000 


图 4.19 Hadoop 集群 上 执行 融合 请 求 业务 (二 ) 
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4.4 物 联网 多 源 异 构 数据 融合 系统 性 能 测试 


对 于 系统 模型 的 性 能 分 析 从 两 个 方面 比较 : MapReduce 节点 数目 对 于 
数据 集成 的 影响 ; 如 何 处 理 不 同 数据 量 性 能 。 
CD 测试 在 不 同 节 点 下 整个 系统 的 运行 状况 。 环 境 监测 物 联 网 1 的 
datafusion 表 有 230 万 条 数据 ,环境 监测 物 联网 2 的 iot 表 中 有 54 万 条 数 
据 , 两 张 表 拥有 相同 数量 的 key, 有 10% key 的 值 相 同 , 可 以 进行 数据 融合 。 
图 4. 20 显示 为 Hadoop 节点 数 对 系统 性 能 的 影响 。Hadoop 从 1 个 节 

点 逐步 增加 到 8 个 节点 ,每 次 增加 1 个。 系统 的 数据 保持 不 变 。 
150 r r r r 
unt 


130r 
120r 


T 


系统 性 能 一 


系统 处 理 时 间 /s 


0 L L L L 4 
1 2 3 4 5 6 7 8 
节点 数 

图 4. 20 Hadoop 节点 数 对 系统 性 能 的 影响 


从 图 4. 20 中 可 以 看 出 , 当 数 据 量 较 少 时 ,只 有 1 个 节点 的 系统 性 能 却 比 
拥有 4 个 节点 的 系统 性 能 高 ,但 8 个 节点 的 情况 下 又 比 1 个 节点 的 性 能 好 。 
结合 图 4. 16, li 17 中 的 Reduce 端 数据 连接 可 知 ,由 于 在 Reduce 端 数据 
连接 的 过 程 中 需要 花费 大 量 的 时 间 用 于 将 Map 方法 的 处 理 结果 传输 到 
Reduce 方 法 ,在 1 个 节点 的 情况 下 ,都 是 本 地 的 数据 处 理 ,没有 网 络 间 的 数 
据 传 输 , 所 以 性 能 好 于 4 个 节点 的 情况 。 但 是 使 用 8 个 节点 的 时 候 分 布 式 系 
统 的 性 能 就 体现 出 来 了 。 

(2) 分 别 以 1、2.5、5、7.5、10( 十 万 条 ) 数 据 测试 8 个 节点 条 件 下 系统 的 
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性 能 (10% 数 据 可 以 进行 数据 融合 处 理 ) ,其 测试 结果 如 图 4. 21 所 示 。 


120 ttt rr 
系统 性 能 一 
nor 
10 
100 75 
S 5 
ir 
5 2.5 
S 80r 
Ka 
70r 
60r 
50, 


09 i0 20 30 40 50 60 70 80 90 100 10 120 
数据 量 / 十 万 条 


图 4.21 数据 量 对 系统 性 能 的 影响 


通过 上 述 实 验 表明 本 架构 模型 能 够 在 较 短 时 间 内 处 理 多 数据 源 海量 数 
据 ,为 用 户 请 求 提供 完整 信息 的 同时 满足 了 速度 快 .效率 高 的 要 求 ,取得 较 
好 的 实现 效果 。 此 外 ,也 表明 本 系统 的 使 用 有 一 定 的 局 限 性 ,适合 如 物 联 网 
业务 平台 此 类 对 海量 数据 进行 数据 集成 的 业务 。 

传统 的 环境 监测 系统 对 于 数据 的 处 理 并 没有 数据 融合 处 理 的 过 程 ,也 
没有 借助 分 布 式 的 处 理 方 式 , 所 以 在 数据 处 理 上 与 基于 数据 融合 技术 的 环 
境 监测 系统 是 不 具 可 比 性 的 。 在 存储 方面 ,传统 系统 的 存储 是 在 秒 甚至 分 
钟 的 量 级 上 的 , 若 将 所 有 数据 存储 ,可 能 需要 数 十 分 钟 甚 至 以 小 时 为 计量 单 
位 。 在 结合 使 用 Map Reduce 之 后 进行 存储 时 是 在 毫秒 级 进行 的 ,这 种 特性 
在 进行 更 多 数据 处 理 时 更 加 显著 ,在 存储 效率 上 是 一 个 极 大 的 提升 。 


4.5 重要 的 源 程序 


4.5.1 Json 文件 的 生成 
Json 文件 的 代码 生成 过 程 如 下 : 
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<?php require_once('../Connections/conndf. php'); ?> 
<?php 
if (!function exists("GetSQLValueString")) { 
function GetSQLValueString( $ theValue, $ theType, $ theDefinedValue = "", 
$ theNotDefinedValue = "") 
{ 
if (PHP_VERSION < 6) { 
$theValue = get magic quotes gpc() ? stripslashes( $ theValue) : $ theValue; 
) 
$ theValue = function exists("mysql real escape string") ? 
mysql real escape string( $ theValue) : mysql escape string( $ theValue); 
switch ( $ theType) ( 
case "text": 
$ theValue = ( $ theValue ! 
break; 
case "long": 


"")?"". $theValue, "'" : "NULL"; 


case "int": 
$ theValue 
break; 

case "double": 
$ theValue = ( $ theValue != "") ? doubleval( $ theValue) : "NULL"; 
break; 

case "date": 
$ theValue = ($theValue != "")?"'", $theValue. "'" : "NULL"; 
break; 

case "defined": 
$theValue = ($theValue (= "") ? $ theDefinedValue : $ theNotDef inedValue; 
break; 


( $ theValue != "") ? intval( $ theValue) : "NULL"; 


} 
return $ theValue; 
} 
} 
mysql_select_db( $ database conndf, $ conndf) ; 
$ sql ds- "select * from datasource where status = 1"; 
$ arrds = mysql query( $ sql ds, $ conndf) or die(mysql error()); 
$ row ds = mysql fetch assoc( $ arrds); 
$ arrset = array(); 
do( 
$ fieldset = ""; 
//$ tid- 0; 
$ arr = split(',', $ POST[ 'busiid']); 
for( $ i=0; $ i<count( $ arr); $ i++){ 
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//echo $ arr[ $ i]."<br>"; 
$ query attrmap = "SELECT * FROM attributemap WHERE colName = 
'$arr[ $i]'"." and dsid- ". $ row del 'dataSourceId']; 
//echo $ query attrmap."«br»" ; 
$attrmap = mysql query( $ query attrmap, $ conndf) or die(mysql 
error()); 
$row attrmap = mysql fetch assoc( $ attrmap); 
$ totalRows attrmap - mysql num rows( $ attrmap); 
//echo "record num is ". $ totalRows attrmap."« br >"; 
if( $ totalRows_attrmap > 0) { 
do { 
//echo "colname is " . $ row attrmap['colName']."« br >"; 
//echo "dsid is" . $ row attrmap[ 'dsid']."« br>"; 
//echo "tid is" . $ row attrmap[ 'tid']. "« br>"; 
//echo "sAttr is" . $ row attrmap[ 'sAttr']. "< br>"; 
$ fieldset = $ fieldset. $ row attrmap[ sAttr'].","; 
$ tid- $ row attrmap[ tid']; 
) while ( $ row attrmap- mysql fetch assoc( $ attrmap)); 
//echo $ fieldset."<br>"; 


} 

//echo substr( $ fieldset, 0, strlen( $ fieldset) -1)."<br>"; 

$ sql_dt="select * from tables where tableid- ". $ tid ; 

//echo $ sql dt; 

$ arrdt = mysql query( $ sql dt, $ conndf) or die(mysql_error()); 

$ row dt- mysql fetch assoc( $ arrdt); 

do { 

//echo $ row dt[ 'tablenane']. "<br>"; 
$ tablename- $ row dt['tablename']; 

) while ( $ row dt- mysql fetch assoc( $ arrdt)); 

$ fields = substr( $ fieldset,0,strlen( $ fieldset) - 1); 

$arr = array ('driver'-» $ row ds['dataSourceDriver'], 'url'- » $ row del 
'dataSourceURL'], 'port' => $ row del 'dataSourceSocket'], 'db' => $ row ds 
[ 'dbName'], 'user' => $ row del 'dataSourceUser'], 'password' => $ row ds 
[ 'dataSourcePwd'], '£ields' => $ fields, 'table' = > $ tablename); 
array push( $ arrset, $ arr); 
}while ( $ row ds = mysql fetch assoc( $ arrds)); 
// $ arrds = array( 'datasource' = > $ arrset); 
$ json string- json encode( $ arrset); 
file put contents('../json/dsconf.json', $ json string); 
?> 
<?php 
mysql free result( $ attrmap); 
?> 


/ 
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4.5.2 数据 属性 映射 
数据 属性 映射 的 代码 如 下 : 


<?php 
if (!function exists("GetSQLValueString")) { 
function GetSQLValueString( $ theValue, $ theType, $ theDefinedValue = "", 
$ theNotDefinedValue = "") 
{ 
if (PHP VERSION « 6) { 
$ theValue = get magic quotes gpc() ? stripslashes( $ theValue) : $ theValue; 
} 
$ theValue = function exists("mysql real escape string") ? 
mysql real escape string( $ theValue) : mysql escape string( $ theValue); 
switch ( $ theType) ( 
case "text": 
$ theValue = ($theValue != "")?"'", $theValue . "'" : "NULL"; 
break; 
case "long": 
case "int": 
$ theValue 
break; 
case "double": 
$ theValue = ( $ theValue != "") ? doubleval( $ theValue) : "NULL"; 
break; 
case "date": 
$ theValue = ($theValue != "")?"'"", $theValue. "'" : "NULL"; 
break; 
case "defined": 
$theValue = ($ theValue = "") ? $ theDefinedValue : $ theNotDefinedValue; 
break; 


( $ theValue != "") ? intval( $ theValue) : "NULL"; 


i 
return $ theValue; 
} 
} 
$ currentPage = $ SERVER["PHP SELF"]; 
$ maxRows_attr = 15; 
$ pageNum_attr = 0; 
if (isset( $ GET['pageNum attr'])) { 
$ pageNum attr = $ GET['pageNum attr']; 
} 
$ startRow_attr = $ pageNum attr * $ maxRows_attr; 
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mysql select db( $ database conndf, $ conndf) ; 
$query attr = "SELECT * FROM attributemap ORDER BY attributeId ASC"; 
$ query limit attr = sprintf("%s LIMIT %d, %d", $query attr, $ startRow 
_attr, $ maxRows attr); 
$attr = mysql query( $ query limit attr, $ conndf) or die(nysql error()); 
$ row attr = mysql fetch assoc( $ attr); 
if (isset( $ GET['totalRows attr'])) ( 

$totalRows attr = $ GET['totalRows attr']; 
) else ( 

$all attr - mysql query( $ query attr); 

$ totalRows attr = mysql num rows( Sall attr); 
} 
$ totalPages_attr = ceil( $ totalRows attr/ $ maxRows attr) 1; 
$ queryString_attr = ""; 
if (!empty( $ _SERVER[ ‘QUERY STRING'])) { 

$ params = explode("&", $ _SERVER[ ‘QUERY STRING']); 

$newParams = array(); 

foreach ( $ params as $ param) ( 

if (stristr( $ param, "pageNum attr") -- false && 
stristr( $ param, "totalRows attr") == false) ( 
array push( $ newParams, $ param); 


} 
if (count( $ newParams) != 0) { 
$ queryString_attr = "&" . htmlentities(implode("&", $ newParams) ) ; 


} 

$ queryString_attr = sprintf("&totalRows attr- %d% s", $ totalRows attr, 
$ queryString attr); 

?> 


4.5.3 数据 连接 的 MapReduce 编码 
数据 连接 的 MapReduce 编码 过 程 如 下 : 


package com. mr. reduceSizeJoin; 

import java. io. IOException; 

import java. util. ArrayList; 

import org. apache. hadoop. conf. Configuration; 
import org. apache. hadoop. conf. Configured; 
import org. apache. hadoop. fs. Path; 

import org. apache. hadoop. io. Text; 


/ 
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import org. apache. hadoop. mapreduce. Job; 
import org. apache. hadoop. mapreduce. Mapper; 
import org. apache. hadoop. mapreduce. Reducer; 
import org. apache. hadoop. mapreduce. lib. input. FileInputFormat; 
import org. apache. hadoop. mapreduce. lib. input. FileSplit; 
import org. apache. hadoop. mapreduce. lib. input. Text InputFormat; 
import org. apache. hadoop. mapreduce. lib. output. FileOutputFormat; 
import org. apache. hadoop. mapreduce. lib. output. TextOutputFormat; 
import org. apache. hadoop. util. Tool; 
import org. apache. hadoop. util. ToolRunner; 
import org. s1f4j. Logger; 
import org.s1f4j.LoggerFactory; 
public class ReduceSideJoin LeftOuter extends Configured implements Tool( 
//com. mr. reduceSizeJoin. ReduceSideJoin LeftOuterJoin 
private static final Logger logger = LoggerFactory. getLogger(ReduceSideJoin | 
LeftOuterJoin. class); 
public static class LeftOutJoinMapper extends Mapper < Object, Text, 
Text, CombineValues> { 
private CombineValues combineValues = new CombineValues( ) ; 
private Text flag = new Text(); 
private Text joinKey = new Text(); 
private Text secondPart = new Text(); 
@Override 
protected void map (Object key, Text value, Context context) throws 
IOException, InterruptedException { 
// 获 得 文件 输入 路 径 
String pathName = ((FileSplit) context.getInputSplit()).getPath(). 
toString(); 
System. out. println("pathName is " + pathName) ; 
// 数 据 来 自 tb dim city. dat 文件 ,标志 即 为 "0" 
if (pathName. endsWith("datafusion. txt") ) { 
String[] valueItems = value. toString().split(","); 
System. out. println("1st is " + valueItems[0] +" 2nd is "+ 
valueltems[1] +" 3rd is " + valueItems[2]) ; 
// 过 滤 格 式 错误 的 记录 
if(valueItems. length != 5){ 
return; 
} 
flag. set("0"); 
joinkey. set(valueItems[0]); 
secondPart. set(valueItems[1] +"\t" + valueItems[2] + "\t" + valueItems 
[3] + "\t" + valueItens[4]) ; 
combineValues. setFlag( flag) ; 
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combineValues. setJoinKey( joinKey); 
combineValues. setSecondPart ( secondPart ) ; 
context. write(combineValues.getJoinKey(), combineValues); 
}// 数 据 来 自 于 tb user profiles.dat, fa BI hun 
else if(pathName. endsWith("iot. txt") ){ 
String[] valueItems = value. toString().split(","); 
// 过 滤 格 式 错误 的 记录 
if(valueItems. length != 4){ 
return; 
} 
flag. set("1"); 
joinKey. set(valueItems[0]); 
secondPart. set(valueItems[1] +"\t" + valueItems[1] +"\t" + valueItems 
[2]); 
combineValues. setFlag(flag); 
combineValues. setJoinKey( joinKey); 
combineValues. setSecondPart( secondPart); 
context. write(combineValues.getJoinKey(), combineValues) ; 


public static class LeftOutJoinReducer extends Reducer < Text, 
CombineValues, Text, Text > { 
// 存 储 一 个 分 组 中 的 左 表 信 息 
private ArrayList < Text > leftTable = new ArrayList < Text >(); 
// 存 储 一 个 分 组 中 的 右 表 信息 
private ArrayList < Text > rightTable = new ArrayList < Text >(); 
private Text secondPar = null; 
private Text output = new Text(); 
/ xx 
* 一 个 分 组 调用 一 次 reduce 函数 
*/ 
@Override 
protected void reduce (Text key, Iterable < CombineValues > value, 
Context context) throws IOException, InterruptedException { 
leftTable.clear(); 
rightTable. clear(); 
/ xx 


* 


将 分 组 中 的 元 素 按照 文件 分 别 进行 存放 

这 种 方法 要 注意 的 问题 : 

如 果 一 个 分 组 内 的 元 素 太 多 的 话 ,可 能 会 导致 在 reduce 阶段 
出 现 OOM, 


* 


* 


* 


/ 
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* 在 处 理 分 布 式 问题 之 前 最 好 先 了 解数 据 的 分 布 情况 ,根据 不 
* 同 的 分 布 采 取 最 适当 的 处 理 方法 , 这样 可 以 有 效 地 防止 导致 
* OOM 和 数据 过 度 倾斜 问题 
*/ 
for(CombineValues cv : value)( 
secondPar - new Text (cv. getSecondPart ( ). 
toString()); 
// 左 表 tb dim city 
if("0".equals(cv.getFlag().toString(). trim()))( 
leftTable. add(secondPar); 
i 
// 右 表 tb_user_profiles 
else 
if("1".equals(cv.getFlag().toString(). trim()))( 
rightTable. add( secondPar) ; 


) 
logger. info("datafusion:" + leftTable. toString()); 
logger. info("iot:" + rightTable. toString()); 
for(Text leftPart : leftTable) { 
for(Text rightPart : rightTable) { 
output. set(leftPart + "Xt" + rightPart) ; 
context. write(key, output) ; 


@Override 
public int run(String[] args) throws Exception { 
Configuration conf = new Configuration() ; 
// 获 得 配置 文件 对 象 
Job job = new Job(conf, "LeftOutJoinMR" ); 
job. setJarByClass(ReduceSideJoin LeftOuterJoin. class) ; 
FileInputFormat. addInputPath(job, new Path(args[0])); 
// 设 置 map 输入 文件 路 径 
FileOutputFormat.setOutputPath( job, new Path(args[1])); 
// 设 置 reduce 输出 文件 路 径 


job. setMapperClass(LeftOutJoinMapper. class) ; 
job. setReducerClass(LeftOutJoinReducer. class) ; 
job. set InputFormatClass(TextInputFormat. class); 


// 设 置 文件 输入 格式 
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job. setOutputFormatClass(TextOutputFormat. class) ; 
// 使 用 默认 的 output 格式 


// 设 置 map 的 输出 key 和 value 类 型 
job. setMapOutputKeyClass(Text. class); 
job. setMapOutputValueClass(CombineValues. class); 


// 设 置 reduce 的 输出 key 和 value 类 型 
job. setOutputKeyClass(Text. class) ; 
job. setOutputValueClass(Text. class); 
job. waitForCompletion(true) ; 
return job. isSuccessful()?0:1; 


public static void main(String[ ] args) throws IOException, 
ClassNotFoundException, InterruptedException { 
try { 
int returnCode = ToolRunner. run(new ReduceSideJoin_ 
LeftOuter(), args); 
System. exit(returnCode); 
]catch (Exception e) { 
// TODO Auto - generated catch block 
logger. error(e. getMessage() ) ; 


4.5.4 虚拟 数据 库 代 码 


解析 器 关键 代码 实现 如 下 : 


// 解 析 对 象 
BeanInfo beanInfo = Introspector. getBeanInfo(obj.getClass()); 
PropertyDescriptor[] pds = beanInfo.getPropertyDescriptors(); 
if (pds (= null) { 
int k = 0;int size = pds. length; 
// 获 得 对 象 属性 与 属性 值 
String[] properties = new String[size - 1]; 
Object[ ] values = new Object[size - 1]; 
beanInformation = new BeanInformation(); 
for (int i = 0; i< size; iH) { 
properties[k] = pds[ i]. getName() ; 
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if (properties[k].equals("class")) 
continue; 
values[k] = pds[i].getReadMethod(). invoke(obj); 
ktt; 
} 
beanInformation. setProperties(properties) ; 
beanInformation. setValues( values) ; 


} 
数据 类 型 关键 代码 如 下 : 


// 注 册 公 共 数 据 类 型 
private static List <Class > typeList = new LinkedList <Class >(); 
static{ 
typeList .add( int. class); 
typeList . add( float. class) ; 
typeList.add(double. class); 
typeList . add( Integer. class); 
typeList . add(Float. class) ; 
typeList . addi Double, class); 
typeList . add( String. class); 


// 生 成 公共 删除 对 象 记录 SQL 语句 
BeanInformation beanInformation = parseObject(obj); 
if (beanInformation != null) { 
int j = 0; 
String[] properties = beanInformation. getProperties() ; 
Object[ ] values = beanInformation. getValues() ; 
int length = properties. length - 1; 
for (int i = 0; i<= length; i++) { 
if (properties[ i]. toLowerCase().equals("id")) { 


j 3j 
break; 
) 
} 
sql = "delete from" + getTableName(obj) + " where " 
+ properties[j] + "="'" + values[j] + "'"; 
} 
数据 连接 池 关 键 代码 如 下 : 


// 初 始 化 Hash 并 发 连接 池 


connections = new ConcurrentHashMap < String, ConnectionPool >() ; 


// 通 过 key — value 将 连接 放 入 连接 池 
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public void put(String key, ConnectionProvider cp) 
{ 
if (key!= null) 
{ 
ConnectionPool connect ionPool = connections. get (key) ; 
if (connectionPool!= null) 
{ 
if(connectionPool. isFull()) 
cp. closeConnection(); 
else { 
connectionPool. put(cp. getConnection( ) ) ; 


} 
else { 
connectionPool = new ConnectionPool(); 
connect ionPool. put(cp. getConnection()); 
} 
connections. put(key, connectionPool); 
} 
} 
// 通 过 key 从 连接 池 取出 连接 
public Connection take(String key, ConnectionProvider cp) 
{ 
Connection connection = null; 
if (key!= null) 
{ 
Connect ionPool connect ionPool = connections. get (key) ; 
if (connect ionPool!= null) 


{ 
if (connectionPool. isEmpty() ) 
{ 
connection = cp. getConnection( ) ; 
connect ionPool. put(connection) ; 
} 
else 
{ 
connection = connect ionPool. take() ; 
cp. setConnection(connect ion) ; 
) 
} 
else { 


connection = cp. getConnection( ) ; 
if (connection!= null&&Utilizes. checkEmpty(cp. getUr1())) 
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this. put(cp. getUrl(), cp); 


} 


return connection; 


} 
对 象 连接 器 具体 实现 如 下 所 示 : 


protected Object generateObject(ResultSet rs, Object obj) { 
if (rs != null) { // 获 得 查询 结果 元 数据 
ResultSetMetaData rsmd = rs.getMetaData(); 
int colums = rsmd.getColumnCount() ; 
for (int i = 1; i<= colums; i++) { 
Object ret = rs. getObject(i); 
if (ret != null) ( // 对 象 封装 
PropertyDescriptor pd = new PropertyDescriptor( 
rsmd. getColumnName(i), obj. getClass()); 
Method setMethod = pd. getWriteMethod() ; 
setMethod. invoke(obj, ret) ; 


} 


return retVal = obj; 


} 
对 象 合成 关键 代码 如 下 : 


ResultSet rs = query(sql, obj); // 查 询 结 } 
if(rs!= null) 
{ 
int size = rs. getMetaData( ).getColumnCount(); 
/ /rs.beforeFirst(); 
if(first» 0&&end» 0&&first <= end) // 设 置 限制 条 件 
H 
if(first>1) 
rs. absolute(first - 1); 
size = end- first; 
} 
list = new ArrayList(); // 对 象 集合 
while(rs. next()&&size>=0) 
{ 
Object ret = cls. newInstance( ) ; 
ret = generateObject(rs, ret); 
if (ret!= null) 
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{ 
list. add(ret) ; // 对 象 合 成 
} 


size-- ; 


4.6 本 章 小 结 


本 章 着 重 介绍 物 联 网 多 源 异 构 数据 融合 原型 系统 的 总 体 设计 及 功能 测 
试 。 首 先 介绍 物 联网 多 源 异 构 数据 融合 原型 系统 的 功能 模块 ,然后 介绍 物 
联网 多 源 异 构 数 据 融合 原型 系统 的 设计 与 实现 ,重点 介绍 了 关键 的 环境 部 
署 与 执行 .属性 映射 及 数据 融合 等 组 件 的 具体 实现 细节 。 最 后 介绍 了 物 联 
网 多 源 异 构 数据 融合 原型 系统 的 性 能 测试 。 基 于 MapReduce 数据 集成 及 数 
据 融 合 方案 实验 结果 表明 ,该 架构 模型 能 够 在 较 短 时 间 内 处 理 多 数据 源 海 
量 数 据 , 为 用 户 请 求 提 供 完整 信息 的 同时 满足 了 速度 快 .效率 高 的 要 求 , 取 
得 较 好 的 实现 效果 。 
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多 源 异 构 信 息 融 合 系统 软件 简介 


物 联 网 多 源 异 构 信 息 融 合 系统 具有 多 角度 的 感知 使 得 数据 具有 较 高 的 
属性 维度 ,而 且 由 于 系统 多 种 类 型 感知 设备 的 互联 与 信息 交换 ,使 得 大 量 异 
构 数 据 的 存在 ,可 完整 地 准确 地 、 及 时 和 有 效 地 综合 信息 处 理 , 物 联网 多 源 
异 构 信息 融合 系统 是 对 适应 物 联网 特点 的 信息 融合 过 程 的 全 局 性 的 诠释 ， 
具有 重要 的 指导 作用 。 


5.1 软件 简介 


5.1.1 软件 特点 


该 软件 具有 以 下 特点 : 

(1) 界面 友好 。 仿 原始 凭证 的 程序 操作 界面 .简洁 直观 , 即 学 即 用 。 

(2) 操作 简单 。 程 序 流程 简单 清晰 ,信息 录入 量 小 ,简单 的 鼠标 单 击 或 
输入 数字 即 可 完成 人 造 革 生 产 线 自动 统计 功能 ,使 初级 管理 人 员 应 用 软件 
变 为 可 能 。 

(3) 功能 实用 。 智 能 监控 过 程 , 把 握 每 个 环节 。 

(4) 应 用 灵活 。 通 过 参数 化 配置 ,上 下 游 安全 通信 ,多 渠道 及 时 反馈 。 

C) 运行 稳定 。 根 据 项 目的 实际 需求 和 软件 应 用 情况 ,不 断 完善 和 升 
级 ,多 年 的 应 用 和 测试 ,使 软件 运行 稳定 可 靠 。 
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5.1.2 软件 功能 


根据 物 联网 多 源 异 构 信息 融合 的 实际 特点 , 物 联 网 多 源 异 构 信息 融合 
系统 提供 了 基本 信息 、 实 时 监测 、 传 感 器 管理 、 物 联网 技术 、 振 动 信号 、 数 据 
分 析 以 及 系统 管理 等 主要 功能 模块 。 


5.2 安装 


安装 步骤 如 下 : 

1. 安装 第 一 步 

下 载 “ 物 联网 多 源 异 构 信息 融合 系统 "以后, 单 击 物 联网 多 源 异 构 信 息 
融合 系统 的 安装 包 , 即 可 弹出 安装 的 第 一 步 界 面 ,如 图 5.1 所 示 。 


安装 程序 将 引导 您 完成 在 您 的 计算 机 上 安装 物 联网 多 源 异 构 信息 融合 系统 MENER- 


| «E-50 


图 5.1 安装 第 一 步 
在 安装 第 一 步 界 面 中 了 解 本 系统 的 安装 向 导 , 对 名 称 进 行 核对 正确 后 
再 进行 其 他 操作 。 
2. 安装 第 二 步 
单 击 安装 第 一 步 界 面 中 的 “下 一 步 ? 按 钮 , 即 可 跳 转 至 安装 第 二 步 的 界 
面 ,对 其 进行 了 解 和 设置 ,如 图 5. 2 所 示 。 


\ 
B 
E 
al 
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请 选择 安装 物 联网 多 源 异 构 信息 融合 系统 的 文件 夫 ， 然 后 点 击 下 一 步 * 


Ho 安装 程序 不 支持 中 文 路 径 和 桂 风 字符 ， 请 设置 正确 的 英文 路 径 ” 
wa | [<3 | 


图 5.2 安装 第 二 步 


在 安装 第 二 步 界 面 中 ,选择 物 联 网 多 源 异 构 信 息 融 合 系统 的 安装 文件 
夹 , 要 选择 不 同 的 位 置 ,可 以 键入 新 的 路 径 , 或 单 击 "浏览 ?按钮 浏览 现 有 的 
文件 夹 ,注意 安装 程序 不 支持 中 文 路 径 和 特殊 字符 , 需 设置 正确 的 英文 
路 径 。 

3. 安装 第 三 步 

单 击 安装 第 二 步 界 面 中 的 “下 一 步 ” 按 钮 , 跳 转 至 安装 第 三 步 的 界面 ,对 
其 进行 确定 ,如 图 5. 3 所 示 。 


正在 安装 物 联网 多 源 异 构 信息 融合 系统 ， 请 耐心 等 待 。 


文件 解压 中 --- 


图 5.3 安装 第 三 步 
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在 安装 第 三 步 界 面 中 ,实时 了 解 安装 物 联 网 多 源 异 构 信 息 融 合 系统 的 
进度 , 若 想 中 止 安装 可 直接 单 击 * 取 消 ?按钮 , 若 想 继续 安装 需 等 待 进度 条 
加 满 。 

4. 安装 完成 

当 图 5. 3 中 的 安装 进度 条 满 了 以 后 , 即 可 跳 转 至 安装 完成 的 界面 ,对 其 
进行 了 解 和 设置 ,如 图 5.4 所 示 。 


icu 物 联网 多 源 异 构 信息 融合 系统 。 您 可 以 通过 点 击 开始 菜单 快捷 方式 选择 需要 的 


点 击 “ 完 成 ”结束 设置 
网 运行 物 联 网 多 源 异 构 信息 融合 系统 


图 5.4 安装 完成 


在 安装 完成 界面 中 对 物 联 网 多 源 异 构 信 息 融 合 系统 的 安装 完成 与 否 进 
行 了 解 ,若是 安装 完成 ,桌面 即 可 出 现 物 联网 多 源 异 构 信息 融合 系统 的 快捷 
图 标 , 单 击 “ 完 成 "按钮 ,退出 该 安装 程序 。 


5.3 功能 操作 


5.3.1 程序 界面 介绍 


当 操 作 员 进 入 系统 后 ,其 程序 主 界面 由 五 部 分 组 成 物 联 网 多 源 异 构 信 
息 融合 系统 ,如 图 5.5 所 示 。 


l. 标题 栏 


窗口 最 上 部 为 标题 栏 区 域 ( 见 图 5. 6) ,用 于 显示 软件 系统 名 称 信息 ,以 
及 系统 快捷 功能 按钮 ,如 首页 .刷新 ` 后 退 ,前进 以 及 注销 等 。 


/ 


向 云 平 台 的 物 联网 多 源 异 构 信 息 融 合 方法 


EE —— oe 


> 【行政 公告 ] Bie) (2017-03-02) 
> (HAZAI AHC) (2017-03-02) 
> 【行政 公告 ] 通知 如) (2017-03-02) 
Li > Tus: 30 在 合议 宣 开 会 , MSAD ENB! (2017-09-02 
> Tis WEARERS. 请 全 体 册 工 准时 到 这! (2017-03-02) 


是 快速 入 口 sso es» ”用 我 的 工作 BS» 
> gie |o +r ans: serr 
> as > GARR ADMA QWR EROR (2017-05-02) 11:01:88 
> Seen > [NEN A MENA (2017-03-02) 11:01:58 MEZ 


> Teen) 加 会 议 申 请 (2017-03-02) 11:01:56 会 议 申请 登记 


图 5.5 程序 主 界面 


物 联 网 多 源 异 构 信息 融合 系统 四 OO 


刷新 ER 前 进 住 销 


图 5.6 标题 栏 


2, 导航 区 
即 操作 员 使 用 日 期 及 当前 位 置 向 导 , 还 有 页 面 右 侧 的 账号 管理 以 及 修 
改 密码 等 图 文 按钮 ,如 图 5.7 所 示 。 


[& 人 天虹 zol 年 8 月 6 日 。 当前 位 置 : 系统 首页 Gases A exces | 


图 5.7 导航 区 


3. 工作 台 

在 页 面 右 侧 则 用 于 放置 工作 时 所 打开 的 一 个 或 多 个 窗口 ,如 图 5. 8 
所 示 。 

在 此 系统 首页 显示 当前 用 户 、 公 告 通知 、 快 速 入 口 、 我 的 工作 等 菜单 
信息 。 
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用 公告 通知 ER» B5» 


SE o0 0 


> 【行政 公告 ] 通知 如) (2017-03-02) 

> 【行政 公告 ] BAC) (2017-03-02) 

> 【行政 公告 ] AMO) (2017-03-02) 
age :姓名 > THIS: OPATERE, 请 全 体 员工 准时 到 达 ! (2017-03-02) 
Dis > 下 午 15: 30 在 会 议 室 开会 ， 请 全 体 员工 准时 到 达 ! (2017-03-02) 


ezan ss» xs» |] 我 的 工作 52» 
> GER ENS «0 è ans: gerr 
> ii > ORR SED RN] QNR SO REN (2017-03-02) 11:01:58 
> BERS > (EAR? A ANR 2017-05-02) 11:01:56 RERE 
^ AhERES > [会议 申请 ] 会 议 申 请 (2017-03-02) 11:01:56 会 议 申请 登记 
图 5.8 工作 台 
4. 功能 区 


在 页 面 左 侧 是 本 系统 的 功能 菜单 ,如 图 5. 9 所 示 。 


图 5.9 功能 区 


功能 菜单 显示 本 系统 的 所 有 功能 ,包括 基本 信息 、 实 时 监测 、 传 感 器 管 
理 \ 物 联网 技术 、 振 动 信号 、 数 据 分 析 以 及 系统 管理 等 功能 模块 。 


E 
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5. 状态 栏 
在 页 面 最 下 方 显示 当前 用 户 、 角 色 以 及 时 间 信 息 , 如 图 5. 10 所 示 。 


当前 用 户 ; adsia AE: 超级 管理 员 


图 5.10 状态 栏 


5.3.2 实时 监测 


1 启动 实时 监测 
在 “实时 监测 "功能 菜单 栏 中 单 击 "实时 监测 ”功能 菜单 下 面 的 “实时 监 
测 ” 按 钮 ,弹出 “实时 监测 ”的 功能 界面 ,如 图 5. 11 BER. 
Es] 
wO SAO NAW XB) Gm BME IAV SOW CO ha 
;也 .新 建 查询 外 | DDD SB (CZ S| we 


imp HH me mu ao)? HOER 
| TNZAOI2133....AcqmireDatas| x 


2016-11-30 17:31:00.000 
2016-11-30 17:35:55.000 19597 
2016-11-30 17:40:54.000 
2016-11-30 17:45:53.000 
2016-11-30 17:50:52,000 

6 2016-11-30 17:55:52.000 65348 
2016-11-30 18:00:50.000 2710 


2016-11-30 18:05:50.000 15122 
2016-11-30 18:10:49.000 58124 
2016-11-30 18:15:48,000 45116 
2016-11-30 18:20:47.000 65024 
2016-11-30 18:25:46.000 65024 


图 5.11 实时 监测 
在 “实时 监测 ?功能 界面 中 ,用 户 可 以 在 界面 上 方 选择 文件 、 编 辑 ` 视 图 、 
项 目 、 调 试 ,查询 设计 器 等 功能 按钮 进行 操作 。 
2. 预 应 力 检 测 
在 “实时 监测 ”功能 菜单 栏 中 单 击 “ 预 应 力 检 测 ” 功 能 菜单 下 面 的 “ 预 应 
力 检测 ”按钮 ,弹出 “ 预 应 力 检测 ”的 功能 界面 ,如 图 5. 12 所 示 。 
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基础 信息 
BREE 设计 值 eH) MEAG) SAMO) 工作 长 度 (ca) — IHESEKIE (co) EL 


ant END NEC NEN NCC RER . 


实时 运行 情 兄 控制 台 


sain: ECS ELS EN 


倒计时 : kl .... 


im | wenn] 
Eri | 拐点 


图 5.12 预 应 力 检 测 
在 “ 预 应 力 检测 ”功能 界面 ,用 户 可 以 查看 的 基础 信息 包括 钢 束 名 称 、 设 
计 值 . 初 应 力 、 最 大 值 工作 长 度 , 钢 绞 线 长 度 以 及 泵 站 的 选择 等 。 
在 界面 下 方 ,用 户 还 可 以 了 解 实 时 运行 情况 ,包括 实时 张 拉 力 、 实 时 位 
移 、 实 时 时 间 等 。 


5.3.3 传感器 管理 


1. 传感器 检测 

在 “传感器 管理 ”功能 菜单 栏 中 单 击 “ 传 感 器 检测 ”功能 菜单 下 面 的 “ 传 
感 器 检测 ”按钮 ,弹出 “传感器 检测 ”的 功能 界面 ,如 图 5. 13 所 示 。 

在 “传感器 检测 ”功能 界面 ,用 户 可 以 了 解 的 信息 包括 传感器 所 测 电压 、 
温度 .功率 ,以 及 当前 值 . 最 低 值 和 最 高 值 等 。 

2. 振动 信号 监测 

在 “传感器 管理 ”功能 菜单 栏 中 单 击 “ 振 动 信号 监测 ”功能 菜单 下 面 的 
“振动 信号 监测 ”按钮 ,弹出 “振动 信号 监测 ”的 功能 界面 ,如 图 5. 14 所 示 。 
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图 5.13 传感器 检测 


振动 信号 监测 
100 200 300 500 600 
(a) 
M 100 200 300 400 600 
ise 界面 控制 
Oura [i 大 |[ 青 除 
aapea | (daam | | 报告 生成 | 


ORE | @ h || 退出 


图 5. 14 振动 信号 监测 
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在 “振动 信号 监测 界面 一 ,用 户 可 以 对 传感器 所 测 的 振动 信号 进行 熟 
悉 和 了 解 。 

在 界面 的 左上 方 , 用 户 可 以 选择 测 点 分 析 功 能 按钮 ,包括 时 域 波 性 、 幅 
值 谱 图 、 细 化 谱 图 、 时 频 分 析 、 小 波 分 析 以 及 数据 导出 等 ,如 图 5. 15 所 示 。 

在 界面 左下 方位 置 ,用 户 可 以 看 到 截面 分 析 与 选项 的 分 组 栏 ,用 户 可 以 
选择 轴 心 轨迹 ,全 息 谱 分 析 、 数 据 源 、 通 道 等 ,如 图 5. 16 所 示 。 


截面 分 析 


[moss |v 


全 息 谱 分 析 | 


一 选 顺 
IET H 
选择 通道 ”| 


图 5.15 “振动 信号 监测 "界面 (一 ) 图 5.16 “振动 信号 监测 "界面 (二 ) 


在 界面 的 右 下 方位 置 , 用 户 可 以 看 到 诊断 与 界面 控制 的 分 组 框 ( 见 
图 5.17)。 当 用 户 单 击 “故障 诊断 ”功能 按钮 时 ,弹出 “故障 诊断 ”的 功能 界面 
( 见 图 5. 18)。 


ur ISB) 
FTD osma Lit) 
[EET omn (acd) CEE] 


图 5.17 “振动 信号 监测 "界面 (三 ) 


在 “故障 诊断 ”功能 界面 ,用 户 可 以 选择 电缆 线路 名 称 以 及 开关 号 进行 查 
看 ,功能 包括 振荡 波及 PD 信号 .PD 故障 定位 、 故 障 谱 图 分 析 以 及 PD 类 型 等 。 

在 图 5. 18 界面 右 侧 显示 测量 及 分 析 功 能 界面 ,包括 电缆 参数 数据 保 
存 、 参 数 设置 数据 分 析 、 方 波 校正 、 谱 图 查询 、 启 动 试验 、 下 位 机 控制 等 功能 
按钮 ,如 图 5. 19 所 示 。 

运行 情况 信息 显示 正在 采集 .采集 结束 等 ,显示 的 数据 信息 包括 
PDmax、 试 验 电 压 、 谐 振 频率 以 及 试 品 电容 等 ,如 需 返 回 上 一 界面 , 单 击 “ 返 
回 ” 按 钮 即 可 。 
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Co 0 开关 号 : 
EARRAS] regen | amet | reg. row |. 


ERU qe 
CH 


时 间 / 


图 5.18 故障 诊断 界面 


测 里 及 分 析 功 能 


图 5.19 测量 与 分 析 功 能 界面 


5.3.4 数据 分 析 


在 “数据 分 析 ” 功 能 菜单 下 面 选择 “历史 数据 ”, 弹 出 “历史 数据 "的 功能 
界面 ,如 图 5.20 所 示 。 
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您 现在 查看 的 是 *** 号 风机 


设备 编号 ; 


12090166 e 


2017/04/25 4 


结束 时 间 ， 
2017/04/25 (4 


图 5.20 历史 数据 


在 “历史 数据 ?界面 ,用 户 可 以 对 相应 的 设备 编号 .选择 参数 .开始 时 间 
以 及 结束 时 间 等 进行 查询 。 


5.4 本 章 小 结 


本 章 介绍 了 物 联 网 多 源 异 构 信 息 融 合 系统 ,包括 软件 的 安装 、 使 用 和 
测试 。 
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本 书 所 开发 的 物 联网 多 源 异 构 信 息 融 合 系统 的 源 代码 如 下 : 


package com. Internet; 
import java. io.; 
import java. io. IOException; 
import java. sql. Connection; 
import java. sql. PreparedStatement; 
import java. sql. ResultSet; 
import java. sql. SQLException; 
import java. util. ArrayList; 
import java. util. Date; 
import java. util. List; 
import javax. naming. Context; 
import javax. naming. InitialContext; 
import javax. naming. NamingException; 
import javax. servlet. ServletException; 
import javax. servlet. http. HttpServlet; 
import javax. servlet. http. HttpServletRequest; 
import javax. servlet. http. HttpServletResponse; 
import javax. sql. DataSource; 
import com. jspsmart. upload. SmartUpload; 
import com. jspsmart. upload. SmartUploadException; 
public EditBook extends HttpServlet{ 
protected void doPost (HttpServletRequest request, HttpServletResponse 
response) throws ServletException, IOException { 
String set = request. getParameter("set") ; 
String currentpage = request. getParameter("currentpage" ) ; 
int id=0; 
if (request. getParameter("id")!= null) { 
id = Integer. parseInt( request. getParameter("id") ) ; 


} 

if (set. equals("del")) { 
Context ctx; 
try { 


ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/comp/ 


env/jdbc/WebShop" ) ; 
try ( 
Runtimert = Runtime. getRuntime(); 
try{ 
String path = request. getRealPath("upload") + "V 
\" + request. getParameter("System") ; 
rt. exec("cnd Ze del " + path); 


catch (Exception e) ( System. out. println (e. 
getLocalizedMessage() * ":" + e. getMessage()) ; 
} 
Connection conn = ds. getConnection() ; 
String sql = "delete from book where id= ?"; 
PreparedStatement pw = conn. prepareStatement (sql) ; 
pw. setInt(1, id); 
pw. execute() ; 
pw = conn. prepareStatement ("select count ( * ) from 
book"); 
ResultSet rs = pw. executeQuery() ; 
int totalcount - 0; 
if(rs.next()) totalcount - rs.getInt(1); 
rs.close(); 
pw. close(); 
conn. close() ; 
int totalpage = (totalcount + 9)/10; 


response. sendRedirect ( " ShowBook. jsp? currentpage = " + currentpage + " 
&totalpage = " + totalpage + "&totalcount = " + totalcount) ; 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if(set. equals("to"))( 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 


try { 
Connection conn = ds.getConnection(); 
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String sql=""; 
PreparedStatement pw = conn. prepareStatement (sql); 
pw. setInt(1, id); 
ResultSet rs = pw. executeQuery( ) ; 
Book b = new Book() ; 
if(rs.next())( 

b. setId(id); 

b. setTypeid(rs.getInt(2)); 
. setName(rs. getString(3)); 
. setPrice(rs.getString(4)); 
. setSaleprice(rs.getString(5)); 
setBookinfo(rs.getString(6)); 
sethuthor(rs.getString(7)); 
setSystem(rs.getString(8)); 
setNun(rs.getInt(9)); 
. setPublish(rs.getString("publish")); 
. setStoretime(rs.getString("storetime")); 
. setBuynum(rs. getInt("buynun")) ; 
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} 
pw = conn. prepareStatement ("select count( * ) from 
book"); 
rs = pw. executeQuery() ; 
int totalcount = 0; 
if(rs.next()) totalcount = rs.getInt(1); 
int totalpage = (totalcount + 9)/10; 
rs.close(); 
pw.close(); 
conn. close(); 
request. setAttribute("tobook", b); 
request. getRequestDispatcher ( " Book. jsp? currentpage - " * currentpage 
+" &totalpage = " + totalpage + " &totalcount = " + totalcount). forward 
(request, response); 
) catch (SQLException e) ( 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
} 
else if (set. equals("add") ) { 
Context ctx; 
try { 


ctx = new InitialContext(); 
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DataSource ds = (DataSource)ctx. lookup 


(" java: /comp/env/ jdbc/WebShop" ) ; 
try { 


SmartUpload s = new SmartUpload( ) ; 
s. initialize(getServletConfig(), request, 


response) ; 


try { 


s. upload() ; 
s. ("/upload") ; 


} catch (SmartUploadException e) { 


} 


Connection conn = 


e. printStackTrace( ) ; 


ds. getConnection(); 


String sql = "insert into book values 


" 
(?,?,?,?,?,?,?,?,?,?,?)"; 


PreparedStatement pw = conn. 


prepareStatement(sql); 


pw. setInt(1, Integer. parseInt 


(s. getRequest(). getParameter("type") 

pw 
getParameter("name")); 

pw 
getParameter("price")); 

pw 
getParameter("saleprice")); 

pw 
getParameter("bookinfo")); 

pw 
getParameter("author")); 


); 
.setString(2, s.getRequest(). 


.setString(3, s.getRequest(). 
. setString(4, s.getRequest(). 
. setString(5, s.getRequest(). 


.setString(6, s.getRequest(). 


pw. setString(7, s.gets().get(0).getName()) ; 
pw. setInt(8, Integer. parseInt(s. getRequest() . getParameter ( "num" ) ) ) ; 


Pw. 
getParameter("publish")); 

pw. 
toLocaleString()); 

pw. 

Pw. 

pw. 


. setString(9, s.getRequest(). 
. setString(10, new Date(). 
.setInt(11, 0); 

. execute() ; 

.close(); 


conn. close(); 


re: 


sponse. sendRedirect("AddBook. jsp") ; 


) catch (SQLException e) ( 


e, 


printStackTrace(); 
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) catch (NamingException e) ( 
e. printStackTrace( ) ; 


} 
else if(set. equals("")) { 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/ 
comp/env/jdbc/WebShop" ) ; 
try { 
Connection conn = ds.getConnection(); 
SmartUpload s = new SmartUpload() ; 
s. initialize(getServletConfig(), request, 
response) ; 
try { 

s. upload( ) ; 

s. ("/upload"); 

String sql =" book set typeid = ?, name = ?, 
saleprice = ?, bookinfo = ?, author = ?, System =? , num - ?, publish =? where 
id= 2"; 

PreparedStatement pw = conn. 
prepareStatement (sql) ; 

pw. setInt(1, Integer. parseInt 
(s. getRequest(). getParameter("typeid") )) ; 

pw. setString(2, s.getRequest(). 
getParameter("name") ) ; 

pw. setString(3, s.getRequest(). 
getParameter("saleprice")); 

pw. setString(4, s.getRequest(). 
getParameter("bookinfo")); 

pw.setString(5, s.getRequest(). 
getParameter("author")); 

if(!s.gets().get(0). getName( ). equals 
(SE 

pw. setString(6, s.gets().get(0). getName 
P 

Runtimert = Runtime. getRuntime(); 

try{ 

String path= request. getRealPath 
("upload") + "\\" + s. getRequest().getParameter( "System" ) ; 

rt. exec("cmd Ze del " + path); 
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catch(Exception eil 
System. out. println(e. getLocalizedMessage() + ":" + e. getMessage( ) ) ; 
} 
} 
else 
pw. setString(6, s.getRequest(). 
getParameter("System") ) ; 
pw. setInt(7, Integer. parseInt 
(s. getRequest(). getParameter("num") ) ) ; 
pw. setString(8, s. getRequest(). 
getParameter("publish") ); 
pw.setInt(9, Integer. parseInt 
(s. getRequest().getParameter("id"))); 
pw. execute( ) ; 
pw. close(); 
conn. close(); 
response. sendRedirect(""); 
) catch (SmartUploadException e) ( 
e. printStackTrace(); 
} 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if (set. equals("find") ) { 
String type=""; 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/comp/ 
env/ jdbc/WebShop" ) ; 


try { 
Connection conn = ds. getConnection(); 
String sql = "select * from book where id= ?"; 
PreparedStatement pw = conn. prepareStatement (sql) ; 
pw. setInt(1, id); 
ResultSet rs = pw. executeQuery( ) ; 
Book b= new Book( ) ; 
if(rs.next()){ 
b. setId(rs.getInt(1)); 
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b. setTypeid(rs.getInt(2)); 
b. setName(rs. getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs.getString(7)); 
b. setSystem(rs.getString(8)); 
b. setNum(rs.getInt(9)); 
b. setPublish(rs.getString("publish")); 
} 
pw = conn. prepareStatement ("select * from booktype 
where id=" + b. getTypeid()); 
rs = pw. executeQuery( ) ; 
if(rs. next()){ 
String str[ ] = rs. getString("typename"). split 
("#"); 
type = str[0]; 
str[0] = str[1]; 
str[1] = type; 
type = str[0] + "—" + str[1]; 
} 
rs.close(); 
pw.close(); 
conn. close(); 
request. setAttribute("findbook", b); 
request. setAttribute("type", type); 
request. getRequestDispatcher("merInfo. jsp"). 
forward(request, response); 
} catch (SQLException e) ( 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace(); 


} 
else if (set. equals("tomain"))( 
List new3 = BookCount. getNew3Books( ) ; 
List low3 = BookCount. getLow3Books( ) ; 
List hot10 = BookCount. getHot10Books( ) ; 
request. setAttribute("new3", new3) ; 
request. setAttribute("low3", low3) ; 
request. setAttribute("hot10", hot10); 
request. getRequestDispatcher("UserShowBook. jsp"). forward 
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(request, response) ; 


} 
else if(set. equals("new3"))( 
Context ctx; 
try { 


ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 


try { 
Connection conn = ds. getConnection(); 
String sql =; 


PreparedStatement pw = conn. prepareStatement (sql); 
ResultSet rs = pw. executeQuery( ) ; 
List list = new ArrayList(); 
while(rs. next()){ 

Book b = new Book( ) ; 
. setId(rs. getInt(1)); 
setTypeid(rs.getInt(2)); 
. setName(rs. getString(3)); 
setPrice(rs.getString(4)); 
. setSaleprice(rs.getString(5)); 
setBookinfo(rs.getString(6)); 
. setAuthor(rs. getString(7) ); 
. setSystem(rs. getString(8) ); 
. setNum(rs. get Int(9)); 
. setStoretime(rs.getString("storetime")); 
. setPublish(rs.getString("publish")); 
list.add(b); 
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} 
rs.close(); 
pw. close(); 
conn. close( ) ; 
request. setAttribute("new3", list); 
request. getRequestDispatcher("UserShowBook. jsp"). 
forward(request, response) ; 

} catch (SQLException e) { 
e. printStackTrace( ) ; 

} 

} catch (NamingException e) { 
e. printStackTrace(); 


} 
else if(set. equals("newall"))( 


/ 


\ 


144 向 云 平台 的 物 联网 多 源 异 构 信息 融合 方法 


Á 


Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 
try { 
Connection conn = ds.getConnection(); 
String sql="select * from book order by storetime 
desc"; 
PreparedStatement pw = conn. prepareStatement (sql) ; 
ResultSet rs = pw. executeQuery( ) ; 
List list = new ArrayList(); 
while(rs.next())( 
Book b = new Book() ; 
b. setId(rs.getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setNane(rs. getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs. getString(7) ) ; 
b. setSysten(rs.getString(8)); 
b. setNun(rs.getInt(9)); 
b. setStoretime(rs.getString("storetime")); 
b. setPublih(rs.getString("publish")); 
list.add(b); 
} 
rs.close(); 
pw. close() ; 
conn. close(); 
request. setAttribute("new", list); 
request. getRequestDispatcher("" + ((list. size() + 9)/10) + "&totalcount 
=" + list. size()).forward(request, response); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
j 
} catch (NamingException e) { 
e. printStackTrace(); 


else if(set. equals("new"))( 
Context ctx; 
try { 


ZS 


录 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("") ; 
try { 
int cp = Integer. parseInt(currentpage) ; 
Connection conn = ds. getConnection(); 
PreparedStatement pw = null; 
ResultSet rs = null; 
pw = conn. prepareStatement("); 
rs = pw. executeQuery( ) ; 
List list = new ArrayList(); 
int tc- 0; 
if(rs.next()) tc» rs.getInt(1); 
int tp- (tc * 9)/10; 
if(cp<=0) cp» 1; 
else if(cp» tc) cp= tc; 
if(tc!- 0){ 
String sql =" "*((cp-1) * 10) * ""; 
pw = conn. prepareStatement (sql); 
rs = pw. executeQuery() ; 
while(rs.next())( 
Book b = new Book() ; 
b. setId(rs.getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setNane(rs. getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs. getString(7) ) ; 
b. setSystem(rs. getString(8) ) ; 
b. setNum(rs. get Int(9)) ; 
b. setStoretime(rs. getString("storetime") ) ; 
b. setPublish(rs.getString("publish")); 
if(b.getBookinfo().length()» 90) b. 
setBookinfo(b.getBookinfo().substring(0, 88) +"..."); 
list.add(b); 
} 
j 
rs.close(); 
pw.close(); 
conn. close(); 
request. setAttribute("new", list); 
request. getRequestDispatcher("" + currentpage +" =" +tp+" =" * tc). 
forward(request, response); 
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} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace() ; 


} 
else if(set. equals("low3")){ 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/comp/ 
env/ jdbc/WebShop" ) ; 
try { 
Connection conn = ds. getConnection(); 
String sql = "select top 3 * from book where 
saleprice < price and num > 0 order by num desc"; 
PreparedStatement pw = conn. prepareStatement (sql); 
ResultSet rs = pw. executeQuery( ) ; 
List list = new ArrayList(); 
if(rs.next())( 
Book b = new Book() ; 
b. setId(rs.getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setNane(rs. getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs. getString(7) ) ; 
b. setSystem(rs. getString(8) ); 
b. setNum(rs. get Int(9)) ; 
b. setStoretime(rs.getString("storetime")); 
b. setPublish(rs.getString("publish")); 
list.add(b); 
} 
rs. close() ; 
pw. close(); 
conn. close(); 
request. setAttribute("low3", list); 
request. getRequestDispatcher(""). forward( request, 
response); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
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} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if(set. equals("low"))( 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/comp/ 
env/ jdbc/WebShop" ) ; 
try [ 
int cp = Integer. parseInt(currentpage) ; 
Connection conn = ds. getConnection( ); 
PreparedStatement pw = null; 
ResultSet rs = null; 
pw = conn. prepareStatement ("select count( * ) from 
book where saleprice < price and num > 0"); 
rs = pw. executeQuery() ; 
List list = new ArrayList(); 
int tc = 0; 
if(rs.next()) tc» rs.getInt(1); 
int tp- (tc * 9)/10; 
if(cp<=0) cp=1; 
else if(cp>tc) cp= tc; 
if(tct- 0) { 
String sql- ""((cp- 1) * 10)» 0"; 
pw = conn. prepareStatement (sql); 
rs = pw. executeQuery() ; 
while(rs.next())( 
Book b = new Book() ; 
b. setId(rs.getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setNane(rs.getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs.getString(7)); 
b. setSystem(rs. getString(8) ) ; 
b. setNum(rs.getInt(9)); 
b. setStoretime(rs.getString("storetime")); 
b. setPublish(rs.getString("publish")); 
if(b.getBookinfo().length()» 90) b. setBookinfo 
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(b. getBookinfo().substring(0, 88) +"..."); 
list.add(b); 
} 
} 
rs.close(); 
pw.close(); 
conn. close(); 
request. setAttribute("low", list); 
request. getRequestDispatcher ( " merchandise. jsp? currentpage = " + 
currentpage + "&totalpage = " + tp + "&totalcount = " + tc). forward ( request, 
response); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


else if (set. equals("hot3") ) { 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 
try ( 
Connection conn = ds.getConnection(); 
String sql- "select top 10 * from book where buynum 
<> 0 and num > 0 order by buynum desc"; 
PreparedStatement pw = conn. prepareStatement(sql); 
ResultSet rs = pw. executeQuery() ; 
List list - new ArrayList(); 
while(rs.next())( 
Book b = new Book() ; 
b. setId(rs.getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setNane(rs.getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs.getString(7)); 
b. setSystem(rs. getString(8) ) ; 
b. setNun(rs.getInt(9)); 
b. setStoretime(rs.getString("storetime")); 


录 
b. setPublish(rs.getString("publish")); 
list.add(b); 

} 
rs.close(); 
pw.close(); 
conn. close(); 
request. setAttribute("hot10", list); 
request. getRequestDispatcher("UserShowBook. jsp"). 
forward(request, response); 

) catch (SQLException e) ( 
e. printStackTrace( ) ; 

} 

} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if(set. equals("hot"))( 
Context ctx; 
try ( 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup(" java: /comp/ 
env/ jdbc/WebShop" ) ; 


try { 

int cp = Integer. parseInt(currentpage) ; 

Connection conn = ds. getConnection(); 

PreparedStatement pw = null; 

ResultSet rs = null; 

pw = conn. prepareStatement ("select count( * ) from 
book where buynum » 0 and num » 0"); 

rs = pw. executeQuery() ; 

List list = new ArrayList(); 

int tc - 0; 

if(rs.next()) tc 7 rs.getInt(1); 

int tp= (tc * 9)/10; 

if(cp«- 0) cp=1; 

else if(cp» tc) cp» tc; 

if(tc!= 0){ 

String sql- "select top 10 * from book where id not 
in ( select top "+ ((cp- 1) * 10) +" id from book where buynum > 0 and num > 0 
order by buynum desc ) and buynum > 0 and num > 0 order by buynum desc "; 

pw = conn. prepareStatement (sql); 

rs = pw. executeQuery() ; 

while(rs. next()){ 


149 > 


<= 向 云 平台 的 物 联网 多 源 异 构 信息 融合 方法 


Book b = new Book() ; 
b.setId(rs.getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setName(rs.getString(3)); 
b. setPrice(rs.getString(4)); 
b. setSaleprice(rs.getString(5)); 
b. setBookinfo(rs.getString(6)); 
b. setAuthor(rs.getString(7)); 
b. setSystem(rs.getString(8)); 
b. setNum(rs. getInt(9)); 
b. setStoretime(rs. getString("storetime") ) ; 
b. setPublish(rs.getString("publish")); 
if(b.getBookinfo().length()» 90) b. setBookinfo 
(b. getBookinfo().substring(0, 88) +"..."); 
list.add(b); 
} 
} 
rs.close(); 
pw. close(); 
conn. close(); 
request. setAttribute("hot", list); 
request. getRequestDispatcher ( " hotbook. jsp?currentpage = " + currentpage 
+ "&totalpage = " + tp + "&totalcount = " + tc). forward(request, response); 
) catch (SQLException e) ( 
e. printStackTrace(); 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


else if(set. equals("search"))( 
String key = request. getParameter("key"); 
String type = request. getParameter("type"); 
List list = new ArrayList(); 
String sql=""; 
key = new String(key. getBytes("ISO- 8859 - 1"), 
"gb2312"); 
Context ctx; 
try ( 
ctx - new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup(" java: /comp/ 
env/jdbc/WebShop" ) ; 
try { 
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int cp = Integer. parseInt(currentpage) ; 

Connection conn = ds.getConnection(); 

PreparedStatement pw = null; 

ResultSet rs = null; 

if(type. equals("author")) sql = "select count 
( * ) from book where num > 0 and author like '%"+key+"% '"; 

else if(type. equals("bookname")) sql = "select 
count( * ) from book where num > 0 and name like '%"+key+"% '"; 

else if(type. equals("publish")) sql "select 
count( * ) from book where num > 0 and publish like '&" t key t " & '"; 

pw = conn. prepareStatement( sql); 

rs = pw. executeQuery() ; 

int tc= 0; 

if(rs.next()) tc = rs. getInt(1); 

int tp= (tc * 9)/10; 

if(cp<=0) cp=1; 

else if(cp>tc) cp= tc; 

if(tc!- 0){ 

if(type. equals("author")) 

sql = "select top 10 * from book where id not in 
(select top "+ ((cp- 1) * 10) +" id from book where num > 0 and author like "ën 
+key+"%') and num » 0 and author like '$" t key t " & '"; 

else if(type. equals("bookname" ) ) 

sql = "select top 10 * from book where id not in 
(select top "+ ((cp- 1) * 10) +" id from book where num > 0 and name like '%" + 
key+"%') and num » 0 and name like '%"+key+"%'"; 

else if(type. equals("publish")) 

sql = "select top 10 * from book where id not in 
(select top " + ((cp- 1) * 10) +" id from book where num > 0 and publish like ' 
%"+key+"%') and num> 0 and publish like '%" t key t" & '"; 

pw = conn. prepareStatenment( sql); 

rs = pw. executeQuery() ; 

while(rs. next()) { 

Book b = new Book( ) ; 

. setId(rs. getInt(1)); 
. setTypeid(rs. get Int(2)); 
. setName(rs. getString(3) ); 
. setPrice(rs. getString(4)); 
. setSaleprice(rs. getString(5)); 
. setBookinfo(rs. getString(6) ); 
. setAuthor(rs. getString(7) ) ; 
. setSystem(rs. getString(8) ); 
. setNum(rs. getInt(9) ); 
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b. setStoretime(rs. getString("storetime") ) ; 
b. setPublish(rs. getString( "publish" ) ) ; 
if(b.getBookinfo().length()» 90) 
b. setBookinfo(b.getBookinfo().substring(0, 88) + "..."); 
list.add(b); 
} 
} 
rs.close(); 
pw. close(); 
conn. close(); 
request. setAttribute("searchresult", list); 
request. getRequestDispatcher("searchbook. jsp? 
currentpage = " + currentpage + "&totalpage =" + tp + "&totalcount = " + tc +" 
&key = " + key + "&type =" + type). forward(request, response); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 


} 
catch (NamingException e) { 
e. printStackTrace(); 


protected void doGet (HttpServletRequest arg0, HttpServletResponse 
argl) throws ServletException, IOException { 
doPost(arg0, argl); 


} 

package com. fuse; 

import java. io. IOException; 

import java. sql. Connection; 

import java. sql. PreparedStatement ; 
import java. sql. ResultSet; 

import java. sql. SQLException; 
import java. sql. Statement; 

import java. util. ArrayList; 

import java. util. Collection; 

import java. util. HashMap; 

import java. util. Iterator; 

import java. util. List; 

import javax. naming. Context; 

import javax. naming. InitialContext; 
import javax. naming. NamingException; 
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import javax. servlet. ServletException; 
import javax. servlet. http. HttpServlet; 
import javax. servlet. http. HttpServletRequest; 
import javax. servlet. http. HttpServletResponse; 
import javax. sql. DataSource; 
public EditBookBuy extends HttpServlet{ 
protected void doGet (HttpServletRequest arg0, HttpServletResponse 

argl) throws ServletException, IOException { 

doPost(arg0, argl); 


protected void doPost(HttpServletRequest request, HttpServletResponse 
response) throws ServletException, IOException { 
String set = request. getParameter("set"); 
if(set.equals("add"))( 
Context ctx; 
try ( 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup(" java: /comp/ 
env/jdbc/WebShop" ) ; 
try { 
Connection conn = ds. getConnection( ); 
String sql = "insert into orders values 
(2,2,9,2,9,2,2,2,9)"; 
PreparedStatement pw = conn. prepareStatement(sql); 
String username - (((String)request. getSession(). 
getAttribute("login")).split(" & "))[2].replaceFirst("", "#"); 
pw. setString(1, request. getParameter("receive_ 


user")); 

pw. setString(2, request. getParameter("creat_ 
user")); 

pw. setString(3, request. getParameter("create_ 
time")); 


pw. setString(4, request. getParameter("delivery")); 
pw.setString(5, request. getParameter("payment") ) ; 
pw. setString(6, request. getParameter("tel")) ; 

pw. setString(7, request. getParameter("address") ) ; 
pw. setString(8, ""); 

pw. setString(9, username) ; 

pw. execute() ; 

sql = "select max(id) from orders "; 

pw = conn. prepareStatement(sql); 

ResultSet rs = pw. executeQuery() ; 

int orderid- 0; 
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if(rs.next()){ 
orderid = rs. getInt(1); 

} 

rs.close(); 

pw.close(); 

Statement st = conn. createStatement(); 

HashMap a = (HashMap)request. getSession(). 
getAttribute("") ; 

Collection c= 


. values() ; 
String sql2- ""; 
String sql3=""; 
for(Iterator iter = c. iterator(); iter. hasNext();)( 
String str[] = iter. next(). toString(). 


split(" 2"); 
sql= "insert into orderdetail values ("+ 
orderid+"," + Integer. parseInt(str[0]) + "," + Integer. parseInt(str[1]) 
+","+ Integer. parseInt(str[2]) * ")"; 
sql2 = book set num = (num - " + Integer. 
parseInt(str[1]) +") where id=" + Integer. parseInt(str[0]); 
sql3 =" book set buynum = (buynum + " + Integer. 
parseInt(str[1]) +") where id=" + Integer. parseInt(str[0]); 
st. addBatch(sql) ; 
st. addBatch(sq12) ; 
st. addBatch(sq13) ; 
} 
st. executeBatch( ) ; 
st.close(); 
conn. close(); 
request. getSession(). removeAttribute("mybookcar"); 
request. getRequestDispatcher("submitOrder. jsp"). 
forward(request, response); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if (set. equals("del")){ 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup(" java: /comp/env/ 


jdbc/WebShop" ) ; 
try { 
Connection conn = ds.getConnection(); 


String sql = "delete from orders where id r 
PreparedStatement pw = conn. prepareStatement(sq1) ; 
pw.setInt(1, Integer. parseInt(request.getParameter 

"id"))); 
pw. execute() ; 
sql = "delete from orderdetail where orderid- ? "; 
pw = conn. prepareStatement( sql) ; 
pw.setInt(1, Integer. parseInt(request.getParameter 

("id"))); 
pw. execute() ; 
pw.close(); 
conn. close(); 

String currentpage = request. getParameter ("currentpage" ) ; 
int totalcount - Integer. parseInt(request. getParameter 

("totalcount")) - 1; 
int totalpage - (totalcount * 5)/6; 

response. sendRedirect ( " ShowBookBuy. jsp?currentpage = " + currentpage + " 
&totalcount = " + totalcount + "&totalpage = " + totalpage); 
} catch (SQLException e) { 
e. printStackTrace(); 
i 
) catch (NamingException e) { 
e. printStackTrace(); 


} 
else if (set. equals("find")) { 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup( " java: /comp/env/ 
jdbc/WebShop") ; 
try { 
Connection conn = ds.getConnection(); 
String sql = "select * from orders where id=?"; 
PreparedStatement pw = conn. prepareStatement (sql) ; 
pw. setInt(1, Integer. parseInt( request. getParameter 
("id") )); 
ResultSet rs = pw. executeQuery() ; 
ArrayList a= new ArrayList(); 
ArrayList b= new ArrayList(); 
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if (rs. next()){ 
add(rs.getInt(1) +""); 
.add(rs. getString(2)); 
.add(rs.getString(3)); 
.add(rs.getString(4)); 
.add(rs.getString(5)); 
add(rs.getString(6)); 
.add(rs.getString(7)); 
.add(rs.getString(8)); 
.add(rs.getString(9)); 
.add(rs.getString(10)); 
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} 
sql = "select orderdetail. * , book. name, book. price from 
orderdetail , book where orderid = ? and book. id = orderdetail. bookid "; 
pw = conn. prepareStatement (sql) ; 
pw. setInt(1, Integer. parseInt( request. getParameter 
("id"))); 
rs = pw. executeQuery() ; 
while(rs.next())( 
String str = rs.getInt(1) +"#" + rs. getInt(2) +" 
#"+rs.getInt(3) +" £" + rs. getInt(4) +"#" + rs. getString("name") +"#" 
* rs. getShort("price"); 
b.add(str); 
} 
rs.close(); 
pw. close(); 
conn. close() ; 
if(request.getSession().getAttribute("login").toString().split(" & "). 
length == 3) { 
if (a. get(8). toString().equals("")){ 
request. setAttribute("orderstatus", "userl"); 
} 
else if(a. get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "user2") ; 
} 
else if (a. get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "user3") ; 
} 
else if(a.get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "user4"); 
} 
else if(a.get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "user5"); 


} 
else{ 
if(a.get(8).toString().equals(""))( 
request. setAttribute("orderstatus", "adminl"); 
} 
else if(a.get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "admin2"); 
j 
else if(a.get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "admin3"); 
} 
else if(a.get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "admin4"); 
} 
else if(a.get(8). toString(). equals(""))( 
request. setAttribute("orderstatus", "admin5"); 


} 
request. setAttribute("orders", a); 
request. setAttribute("orderdetail", b); 
if(request.getSession().getAttribute("login").toString().split(" & "). 
length == 3) { 
request. getRequestDispatcher("OrderInfo. 
jsp"). forward(request, response) ; 
} 
else{ 
request. getRequestDispatcher("adminOrderInfo. 
jsp"). forward(request, response) ; 
} 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace() ; 


} 
else if(set. equals("setbuytype" ) ) { 
String setbuytype[ ] = request. getParameterValues("setbuytype"); 
if (setbuytype == null| | setbuytype. length == 0) { 
response. sendRedirect ( " EditBookBuy? id = " + (Integer. parseInt ( request. 
getParameter("id"))) + "&set = find"); 
} 
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else( 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/comp/ 
env/ jdbc/Web" ) ; 
try { 
Connection conn = ds. getConnection() ; 
String status =""; 
if(setbuytype. length == 2) status = ""; 
else { 
if(setbuytype[0].equals("2")) status = ""; 
else if(setbuytype[0].equals("3")) status =""; 
else if(setbuytype[0].equals("4")) status =""; 
else if(setbuytype[0]. equals("5")) status- ""; 
) 
String sql- 


" orders set status = ? where id- ?"; 


PreparedStatement pw conn. prepareStatement (sql) ; 
pw. setString(1, status); 
pw. setInt(2, Integer. parseInt(request. 
getParameter("id"))); 
pw. execute( ) ; 
pw. close(); 
conn. close(); 
response. sendRedirect ( " EditBookBuy? id = 
"+ (Integer. parseInt(request. getParameter("id"))) + "&set = find"); 
} catch (SQLException e) ( 
e. printStackTrace(); 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if (set. equals("userorder") ) { 
if ( (request. getSession(). getAttribute("login") )!= null) { 
String username = (( (String) request. getSession(). getAttribute 
("login")).split("#"))[2].replaceFirst(""); 
String sql = "select * from orders where username = '" + username 
ps 
Context ctx; 
try { 
ctx = new InitialContext(); 


Mt x 


DataSource ds = (DataSource)ctx. lookup("java:/comp/ 


env/jdbc/WebShop" ) ; 


user")); 


tine")); 


try { 
Connection conn = ds.getConnection(); 
PreparedStatement pw = conn. prepareStatement (sql) ; 
ResultSet rs = pw. executeQuery() ; 
List a= new ArrayList(); 
while(rs. next()){ 
Order order = new Order(); 
order. setAddress(rs. getString("address") ) ; 
order. setCreat_user(rs. getString("creat_ 


order. setCreate_time(rs. getString("create_ 


order. setDelivery(rs. getString("delivery") ) ; 
order. setId(rs.getInt("id")); 

order. setPayment (rs. getString("payment") ) ; 
order. setReceive_user(rs. getString 


("receive user")); 


order. setStatus(rs.getString("status")); 
order. setTel(rs.getString("tel")); 
order. setUsername(rs. getString("username")); 
a. add(order); 

} 

rs. close(); 

pw. close(); 

conn. close( ) ; 

request. setAttribute("userorder", a) ; 

request. getRequestDispatcher("Order. jsp"). 


forward( request, response); 


} catch (SQLException e) { 
e. printStackTrace( ) ; 


} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


else{ 
response. sendRedirect("sorry. jsp"); 


) 
else if(set. equals("searchOrder"))( 
String status = new String(request. getParameter ("status"). 
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getBytes("ISO - 8859 — 1"), "GB2312"); 
int cp- Integer. parseInt(request. getParameter("currentpage")); 
String sql- ""; 
List a- new ArrayList(); 
int tc =0,tp=0; 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 
try { 
if (status. equals("all")){ 
sql = "select count( * ) from orders"; 
} 
else if (status. equals("")) { 
sql = "select count( * ) from orders where 


status = ''"; 
} 
else if(status. equals(""))( 
sql = "select count( * ) from orders where 
Status. t6, nt, mms 
} 
else if(status. equals(""))( 
sql = "select count( * ) from orders where 
status ami", *, n; 
) 


else if(status. equals(""))( 
sql = "select count( * ) from orders where 
státusan("*, "J"; 


else if(status. equals(""))( 
sql = "select count( * ) from orders where 
status =''"; 
} 
Connection conn = ds.getConnection(); 
PreparedStatement pw conn. prepareStatement (sql) ; 
ResultSet rs = pw. executeQuery() ; 
rs. next(); 
te = rs. getInt(1); 
tp= (tc * 5)/6; 
if(cp<=0) cp=1; 
else if(cp>tc) cp- tc; 
if(tct- 0) { 
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if(status. equals("all")){ 
sql = " select * from orders where id not in 
(select top "+ ((cp- 1) * 6) +" id from orders order by id asc) order by id 
asc"; 
} 
else if(status. equals("")) { 
sql = "select * from orders where id not in 
(select top "+ ((cp- 1) * 6) +" id from orders where status = '' order by id 
asc) and status = '' order by id asc"; 
} 
else if(status. equals("")) { 
sql = "select * from orders where id not in 
(select top "+ ((cp- 1) * 6) +" id from orders where status = " order by id asc) 
and status = '' order by id asc"; 
} 
pw = conn. prepareStatement(sq1) ; 
rs = pw. executeQuery() ; 
while(rs. next()) { 
Order order = new Order(); 
order. setAddress(rs. getString("address") ) ; 
order. setCreat_user(rs. getString("creat_ 
user")); 
order. setCreate_time(rs. getString("create_ 
time") ); 
order. setDelivery(rs. getString("delivery")); 
order. setId(rs.getInt("id")); 
order. setPayment (rs. getString("payment") ) ; 
order. setReceive_user(rs. getString 
("receive user")); 
order. setStatus(rs.getString("status")); 
order. setTel(rs.getString("tel")); 
order. setUsername(rs. getString("username")); 
a. add(order); 
} 
} 
rs. close() ; 
pw. close() ; 
conn. close(); 
request. setAttribute("searchOrder", a) ; 
request. getRequestDispatcher ( " ShowBookBuy. jsp? totalcount =" + tc +" 
&totalpage =" + tp + "&currentpage = " + cp + "&status = " + status). forward 
(request, response) ; 
} catch (SQLException e) { 
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e. printStackTrace() ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
public static int getOrderId() { 
int orderid = 0; 
try { 
Context ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup(" java: /comp/env/ jdbc/ 
WebShop"); 
try { 
Connection conn = ds. getConnection() ; 
String sql = "select max(id) from orders"; 
PreparedStatement pw = conn. prepareStatement (sql) ; 
ResultSet rs = pw. executeQuery() ; 
if(rs.next()) orderid= rs. getInt(1); 
rs.close(); 
pw. close(); 
conn. close(); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 
}; 
return orderid; 
} 
public static String getName(String username) { 
String name = ""; 
try { 
Context ctx = new InitialContext() ; 
DataSource ds (DataSource) ctx. lookup (" java: /comp/env/jdbc/ 


WebShop" ) ; 
try f 
Connection conn = ds. getConnection(); 
String sql = "select name from storeuser where username = ?"; 
PreparedStatement pw = conn. prepareStatement (sql) ; 
pw. setString(1, username) ; 
ResultSet rs = pw. executeQuery( ) ; 
if(rs.next()) name = rs. getString( "name" ) ; 
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rs.close(); 
pw.close(); 
conn. close(); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 


} catch (NamingException e) { 


}; 


e. printStackTrace( ); 


return name; 


} 


package com. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 


fuse; 

io. IOException; 

sql. Connection; 

sql. PreparedStatement ; 
sql. ResultSet; 

sql. SQLException; 

util. HashMap; 


import javax. naming. Context; 
import javax. naming. InitialContext; 


import javax. naming. NamingException; 

import javax. servlet. ServletException; 

import javax. servlet. http. HttpServlet; 

import javax. servlet. http. HttpServletRequest; 
import javax. servlet. http. HttpServletResponse; 


import javax. sql. DataSource; 
public EditBookCar extends HttpServlet{ 

protected void doGet (HttpServletRequest arg0, HttpServletResponse 
argl) throws ServletException, IOException { 


} 


doPost(arg0, argl); 


protected void doPost(HttpServletRequest request, 
HttpServletResponse response) throws ServletException, IOException { 


String set - request. getParameter("set"); 

int bookid = 0; 

HashMap a - null; 

if (request. getParameter("id")!= null)( 
bookid = Integer. parseInt (request. getParameter("id")) ; 
a= (HashMap) request. getSession(). getAttribute("mybookcar") ; 

} 

if(a== null) a= new HashMap(); 

if (set. equals("add") ) { 
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String s= (String) request. getSession().getAttribute 
("login"); 
if(s!= null) { 
String login[] = s. split("#"); 
if(login[0]. equals("user")&&login[1]. equals("yes"))( 
String name = new String(request. getParameter ( " name" 
getBytes("ISO - 8859 — 1"), "GB2312"); 
if(a == null) a= new HashMap() ; 
if((String)a. get(bookid+ "") == null)( 
a. put(bookid+"", bookid+"#"4+"1"+"#"+ 
request. getParameter("saleprice") +" #" + name); 
} 
else { 
String str[ ] = ((String)a. get (bookid + "")). 
split("#"); 
a. put (bookid + "", bookid +" #" + (Integer. 
parseInt(str[1]) + 1) +" #" + request. getParameter("saleprice") +" #" + 
name) ; 


} 
request. getSession().setAttribute("mybookcar", a); 
response. sendRedirect("cart. jsp?id = " + bookid); 
} 
else { 
response. sendRedirect("sorry. jsp") ; 


} 
else { 
response. sendRedirect("sorry. jsp"); 


} 
else if (set. equals("del") ) { 
a. remove(bookid + "") ; 
response. sendRedirect("cart. jsp") ; 
} 
else if(set.equals("")) { 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/ 
conp/env/ jdbc/WebShop" ) ; 
try { 
Connection conn = ds.getConnection(); 
String sql = "select * from book where id= 


L 


K 
PreparedStatement pw = conn. prepareStatement 
(sql); 
pw. setInt(1, bookid); 
ResultSet rs = pw. executeQuery() ; 
Book b = new Book() ; 
if(rs.next()){ 

b. set Id(bookid) ; 

b. setNum(rs. get Int(9) ); 

b. setName(rs. getString("name") ) ; 

b. setSaleprice(rs. getString("saleprice") ) ; 

} 
rs.close(); 
pw. close( ) ; 
conn. close(); 
if (Integer. parseInt(request. getParameter("booknun" ) )« = b. getNun( ) ) { 

a. put(bookid + "", b. getId() +"#" + 
request. getParameter("booknum") +" #" + b. getSaleprice() +" #" + b. getName 
0); 

request. getSession(). setAttribute 
("nybookcar", a); 
response. sendRedirect("cart. jsp"); 


} 
else{ 

response. sendRedirect("cart. jsp") ; 
} 


} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
else if (set. equals("clear") ) { 
request. getSession(). removeAttribute("mybookcar"); 
response. sendRedirect("cart. jsp"); 
} 
else if(set. equals("GotoOrder"))( 
if(request.getSession().getAttribute("login") == null)( 
response. sendRedirect("sorry. jsp"); 
1 
else{ 
if (request. getSession(). getAttribute("mybookcar") == 
null) { 
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} 

package com. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 
import java. 


import javax. 
import javax. 
import javax. 
import javax. 
import javax. 
import javax. 
import javax. 
import javax. 


response. sendRedirect("cart. jsp"); 
} 
else{ 
response. sendRedirect("checkOrder. jsp") ; 


fuse. duoyuan; 

io. IOException; 

io.PrintWriter; 

sql. Connection; 

sql. PreparedStatement; 

sql. ResultSet; 

sql. SQLException; 

util. ArrayList; 

util. HashMap; 

util. Iterator; 

util. List; 

util. Set; 

naming. Context; 

naming. InitialContext; 

naming. NamingException; 

servlet. ServletException; 
servlet. http. HttpServlet; 
servlet. http. HttpServletRequest ; 
servlet. http. HttpServletResponse; 
sql. DataSource; 


import book. Book; 
public EditBookType extends HttpServlet{ 
protected void doPost(HttpServletRequest request, HttpServletResponse 
response) throws ServletException, IOException { 
String set = request. getParameter("set"); 
String totalcount - request. getParameter("totalcount"); 


String totalpage = request. getParameter("totalpage"); 


String currentpage = request. getParameter("currentpage"); 


String type = request. getParameter("type"); 

String idl = request. getParameter(" id"); 

int id=0; 

if(idl!- null) 

id- Integer. parseInt(request. getParameter("id")); 
if(set.equals("del"))( 


Bt x 


Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource) ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 
try { 
Connection conn = ds. getConnection(); 
String sql = "delete from booktype where id= ?"; 
PreparedStatement pw = conn. prepareStatement 


(sql) ; 
pw. setInt(1, id); 
pw. execute() ; 
sql = "delete from book where typeid = ?"; 
pw = conn. prepareStatement (sql); 
pw. setInt(1, id); 
pw. execute() ; 
pw. close(); 
conn. close(); 
totalcount - (Integer. parseInt(totalcount) 
SITE 
totalpage = (Integer. parseInt(totalpage) + 
Sei FO; 
request. getSession(). removeAttribute("type2" ) ; 
response. sendRedirect ( " ShowBookType. jsp? currentpage = " + currentpage 
+ "&totalpage = " + totalpage + "&totalcount = " + totalcount) ; 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace(); 


i 
) 
else if(set. equals("")){ 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup(" java: /comp/ 
env/jdbc/WebShop" ) ; 


try { 
Connection conn = ds.getConnection(); 
String sql =" booktype set typename = ? where id= ?"; 
String typename = new String( request. getParameter 
("typename"). getBytes(" ISO- 8859 — 1"), "GB2312") ; 
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PrintWriter out = response. getWriter(); 
PreparedStatement pw = conn. prepareStatement( sql); 
typename = typename + "+" + new String(request. 
getParameter("topname").getBytes("ISO - 8859 — 1"), "GB2312") ; 
pw. setString(1, typename) ; 
pw. setString(l, typename + "+" + request. getSession().getAttribute 
("type2")); 
pw. setInt(2, id); 
pw. execute() ; 
pw. close(); 
conn. close(); 
request. getRequestDispatcher ( " ShowBookType. jsp? currentpage = " + 
currentpage + " &totalpage = " + totalpage + "&totalcount = " + totalcount). 
forward(request, response); 
response. sendRedirect ( " ShowBookType. jsp? currentpage - " * currentpage 
+ "&totalpage = " + totalpage + "&totalcount = " + totalcount); 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
e. printStackTrace(); 


) 
else if(set. equals("add"))( 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup 
(" java: /comp/env/jdbc/WebShop" ) ; 
try { 
Connection conn = ds.getConnection(); 
String sql = "insert into booktype values (?)"; 
PreparedStatement pw = conn. prepareStatement 
(sql) ; 
if (request. getParameter("firstname") == 
null) 
pw. setString(1, request. getParameter ( " secondname") +" +" + request. 
getParameter("secondname" ) ) ; 
else 
pw. setString(1, request. getParameter("secondname") + "#" + request. 
getParameter("firstname")); 
pw. execute( ) ; 
pw. close(); 


= 


= 
conn. close(); 
response. sendRedirect("AddBook. jsp"); 
} catch (SQLException e) { 
e. printStackTrace(); 
) 
) catch (NamingException e) { 
e. printStackTrace( ) ; 


} 
} 
else if(set. equals("findAllBookType"))( 
Context ctx; 
try { 


ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup(" java: / 


conp/env/ jdbc/WebShop" ) ; 


(sq1); 


try { 
Connection conn = ds. getConnection() ; 
String sql = "select * from booktype"; 
PreparedStatement pw = conn. prepareStatement 


ResultSet rs = pw. executeQuery( ) ; 
HashMap m = new HashMap() ; 
while(rs.next())( 
String str[] = rs. getString("typename"). 


split(" i"); 


("id"); 


"id")); 


if(m.get(str[1]) == null)( 
List list - new ArrayList(); 
list.add(str[0] +" #" + rs. getInt 


m. put(str[1], list); 


) 

else( 
List list = (List)m.get(str[1]); 
list. add(str[0]+"#" + rs. getInt 
m. put(str[1], list); 

) 


} 

rs.close(); 

pw.close(); 

conn. close(); 

request. setAttribute("allbooktype", m); 


request. getRequestDispatcher ( " showallbooktype. jsp"). forward(request, 


/ 


À 


170 向 云 平 台 的 物 联网 多 源 异 构 信 息 融 合 方法 


` 


response) ; 
} catch (SQLException e) { 
e. printStackTrace( ) ; 

} 

} catch (NamingException e) { 
e. printStackTrace( ) ; 

} 

} 


else if(set. equals("findbooks") ) { 
String typeid = request. getParameter("typeid” ) ; 
List list = new ArrayList(); 
String sql=""; 
Context ctx; 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup("java:/comp/ 
env/jdbc/WebShop" ) ; 
try { 
int cp = Integer. parseInt(currentpage) ; 
Connection conn = ds. getConnection() ; 
PreparedStatement pw = null; 
ResultSet rs = null; 
sql = "select count( * ) from book where num» 0 and 
typeid =" + typeid; 
pw = conn. prepareStatement(sq1) ; 
rs = pw. executeQuery( ) ; 
int tc= 0; 
if(rs.next()) tc = rs. getInt(1); 
int tp- (tc * 9)/10; 
if(cp<=0) cp=1; 
else if(cp>tc) cp=tc; 


if(tcl= 0){ 
sql = "select top 10 * from book where id not in ( 
select top "+ ((cp- 1) * 10) +" id from book where num» 0 and typeid = "+ 


typeid+" ) and num» 0 and typeid =" + typeid; 
pw = conn. prepareStatement( sql); 
rs = pw. executeQuery() ; 
while(rs.next())( 
Book b = new Book() ; 
b. setId(rs. getInt(1)); 
b. setTypeid(rs.getInt(2)); 
b. setNane(rs.getString(3)); 
b. setPrice(rs.getString(4)); 
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. setSaleprice(rs. getString(5)); 
. setBookinfo(rs.getString(6)); 
. setAuthor(rs.getString(7)); 
.setSysten(rs.getString(8)); 
.setNun(rs.getInt(9)); 
. setStoretime(rs. getString("storetime") ) ; 
. setPublish(rs. getString( "publish" ) ) ; 
if(b.getBookinfo().length()» 90) 
b. setBookinfo(b.getBookinfo().substring(0, 88) + "..."); 
list.add(b); 
} 
} 
rs. close(); 
pw. close() ; 
conn. close( ); 
request. setAttribute("searchresult", list); 


PP s 


request. getRequestDispatcher ( " searchbooktype. jsp? currentpage = " + 
currentpage + " &totalpage =" + tp + " &totalcount = " + tc + " &typeid = "+ 
typeid).forward(request, response); 

) catch (SQLException e) { 
e. printStackTrace(); 


} 
catch (NamingException e) { 
e. printStackTrace( ) ; 


protected void doGet (HttpServletRequest arg0, HttpServletResponse 
argl) throws ServletException, IOException { 
doPost(arg0, argl); 


public static void main(String[] args) ( 
System. out. println("".substring(0, 88)); 


} 

package user. different; 

import java. io. IOException; 

import java. sql. Connection; 

import java. sql. PreparedStatement; 
import java. sql. SQLException; 
import javax. naming. Context; 

import javax. naming. InitialContext; 
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import javax. naming. NamingException; 
import javax. servlet. ServletException; 
import javax. servlet. http. HttpServlet; 
import javax. servlet. http. HttpServletRequest; 
import javax. servlet. http. HttpServletResponse; 
import javax. sql. DataSource; 
public DelUser extends HttpServlet{ 
protected void doGet (HttpServletRequest arg0, HttpServletResponse argl) 
throws ServletException, IOException { 
TODO Auto - generated method stub 
doPost(arg0, argl); 
} 
protected void doPost (HttpServletRequest request, HttpServletResponse 
response) throws ServletException, IOException { 
TODO Auto - generated method stub 
Context ctx; 
String currentpage = request. getParameter("currentpage" ) ; 
String totalcount = request. getParameter("totalcount"); 
String totalpage = request. getParameter("totalpage"); 
if(request.getParameter("") == null)( 
String id- request. getParameter(" id"); 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup(" java: /comp/env/ 


jdbc/WebShop" ) ; 
try ( 
Connection conn = ds.getConnection(); 
String sql = "delete from storeuser where id- ?"; 
PreparedStatement pw = conn. prepareStatement(sql); 
pw. setInt(1, Integer. parseInt( id) ) ; 
pw. execute() ; 
pw. close( ); 
conn. close() ; 
totalcount = (Integer. parseInt(totalcount) — 1) * ""; 
totalpage = ((Integer. parseInt(totalcount) + 5)/6) + ""; 
if (request. getParameter("admin") == null) 
response. sendRedirect ( " ShowAllUser. jsp? currentpage = " + currentpage + " 
&totalcount = " + totalcount + "&totalpage = " + totalpage) ; 
else 
response. sendRedirect ( " ShowAllAdmin. jsp? currentpage = ”+ currentpage + " 


&totalcount = " + totalcount + "&totalpage = " + totalpage) ; 
} catch (SQLException e) { 
TODO Auto — generated catch block 
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e. printStackTrace( ) ; 
} 
} catch (NamingException e) { 
TODO Auto - generated catch block 
e. printStackTrace( ) ; 


} 
else { 
String id= request. getParameter("id") ; 
String pwd = new String(request. getParameter(" pwd"). getBytes 
("ISO - 8859 — 1"), "GB2312"); 
try { 
ctx = new InitialContext(); 
DataSource ds = (DataSource)ctx. lookup(" java: /comp/env/ 
jdbc/WebShop") ; 
String sql =" storeuser set =? where id= ?"; 
Connection conn; 
try { 
conn = ds.getConnection(); 
PreparedStatement pw = conn. prepareStatement (sql); 
pw. setString(1, pwd); 
pw. setString(2, id); 
pw. execute() ; 
pw. close(); 
conn. close(); 
response. sendRedirect ( " ShowAllAdmin. jsp? currentpage - " * currentpage 
+ "&totalcount = " + totalcount + "&totalpage = " + totalpage) ; 
} catch (SQLException e) { 
TODO Auto - generated catch block 
e. printStackTrace(); 
} 
} catch (NamingException e) { 
TODO Auto - generated catch block 
e. printStackTrace(); 


} 

package cn. hnist. multisource; 
import java. awt. * ; 

abstract Bomb 

{ 


int x, y; 


/ 
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int step- 0; 


static final Toolkit TLK - Toolkit.getDefaultToolkit(); 


public Bomb(int x, int y) 
{ 
this.x= x; 
this. y=y; 
} 
abstract void draw(Graphics g) ; 
} 
TankBomb extends Bomb 
{ 
Tank tk; 
public static final System[ ] TBIMGS = 
{ 
}; 
static boolean init = false; 
public TankBomb( int x, int y, Tank tk) 
{ 
super(x, y); 
this. tk = tk; 
} 
void draw(Graphics g) 
{ 
if(! init) 
{ 
for (int i= 0;i« TBIMGS. length; i++) 
{ 
g. drawSystem(TBIMGS[ i], x, y, null); 
init = true; 


} 
if (step == TBIMGS. length) 
{ 
tk. tankBomb = null; 
if (tk. isNPC) 
{ 
tk. tc. tanksList. remove(tk) ; 
tk= null; 
} 
return; 
} 
g. drawSystem(TBIMGS[ step], x, y, null) ; 
stept*; 


} 


ShotBomb extends Bomb 


{ 


} 


Shot s; 
private static final System[ ] SBIMGS = 
{ 
}; 
static boolean init = false; 
public ShotBomb( int x, int y, Shot s) 
{ 

super(x, y); 

this.s=s; 
} 
void draw(Graphics g) 
{ 

if(! init) 

{ 

for (int i= 0;i< SBIMGS. length; i++) 


{ 
g. drawSystem(SBIMGS[ i], x, y, null); 
init- true; 
} 
} 
if (step == SBIMGS. length) 
{ 
s. tc. shotsList. remove(s) ; 
s. shotBomb = null; 
s- null; 
return; 
} 
g. drawSystem(SBIMGS[ step], x, y, null); 
stept*; 


SuperShotBomb extends ShotBomb 


{ 


public static final System[ ] SUPERBOMBIMGS = 
{ 

i 

static boolean init = false; 

public SuperShotBomb( int x, int y, Shot s) 

{ 
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super(x, y, s); 
} 
public Rectangle getRect() 
{ 
return new Rectangle(x — 80, y - 80,160,160); 
} 
void draw(Graphics g) 
{ 
if(! init) 
{ 
for (int i= 0;i« SUPERBOMBIMGS. length; i++) 
{ 
g. drawSystem(SUPERBOMBIMGS[ i], x, y, null); 
init- true; 


} 
if (step == SUPERBOMBIMGS. length) 
{ 
s. tc. shotsList. remove(s) ; 
s. shotBomb = null; 
s=null; 
return; 
} 
g. drawSystem(SUPERBOMBIMGS[ step], x — 128, y - 128, null); 
iff (step == SUPERBOMBIMGS. length/2 + 1) 
{ 
Tank tempTk = null; 
for(int i=0;i<s.tc. tanksList. size();it+) 
{ 
tempTk = s. tc. tanksList. get(i); 
if(getRect(). intersects(tempTk. getRect() ) &&tempTk. 
isLive&&tempTk. camp!= s. tk. camp) 
{ 
tempTk. tankHitPoint. cutsHitPoint(s. shotPower, this. s); 


} 
Shot tcShots = null; 
for(int i=0;i<s.tc. shotsList. size();it++) 
{ 
tcShots = s. tc. shotsList.get(i); 
if(getRect().contains(tcShots. getRect() ) &&tcShots. tk. 
camp!- s. tk. camp) 


{ 


tcShots. isBomb = false; 
tcShots. dead( ); 


} 


stept+; 


} 
package cn. hnist. multisource; 
import java. awt. * ; 
abstract Shot 
{ 
int shotSpeed; 
int shotRadius; 
int shotPower; 
int ox, oy, Sx, Sy; 
int lengthX, lengthY; 
boolean isLive; 
boolean isBomb; 
TankClient tc = null; 
Tank tk = null; 
ShotBomb shotBomb = null; 


public static final Toolkit TLK = Toolkit.getDefaultToolkit(); 


public Shot(int ox, int oy, int sx, int sy, Tank tk) 
{ 


this. ox = ox; 


this. oy = oy; 
this. sx = sx; 
this. sy = sy; 
this. tc = tk. tc; 
this. tk = tk; 
this. isLive = true; 
} 
public Shot(Tank tk) 
{ 
this. ox = tk. x; 
this. oy = tk. y; 


this. sx = tk. turretDirx; 
this. sy = tk. turretDiry; 
this. tc = tk. tc; 

this. tk = tk; 

this. isLive = true; 
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abstract void draw(Graphics g); 
abstract void move() ; 
abstract void dead(); 
public boolean isOutOfWindow() 
{ 
if(sx» TankClient.WIN WIDTH| | sx < 0| | sy > TankClient.WIN HEIGHT||sy 
<0) 


this. isBomb = false; 
return true; 
} 
else { return false; } 
} 
public Rectangle getRect() 
{ 
return new Rectangle(sx — shotRadius, sy - shotRadius, shotRadius * 2, 
shotRadius * 2); 
} 
} 
HydraShot extends Shot 
{ 
static final System HYDRASHOT = 
TLK. getSystem ( Shot. . getLoader ( ). getResource ( " Systen/Shot/Hydra. 


png")); 


public HydraShot(int ox, int oy, int sx, int sy, Tank tk) 
{ 
super (ox, oy, sx, sy, tk) ; 
this. shotPower = 1; 
this. shotRadius = 6; 
this. shotSpeed = 13; 
this. lengthX = shotSpeed * (sx - ox)/( int) Math. hypot (sx — ox, sy - oy) ; 
this. lengthy = shotSpeed * (sy - oy) /( int)Math. hypot (sx — ox, sy — oy) ; 
} 
public void draw(Graphics g) 
{ 
if (isLive) 
{ 
g. drawSystem(HYDRASHOT, sx — shotRadius, sy — shotRadius, null); 
} 
else 


{ 
if (isBomb&&shotBomb!= null) { shotBomb. draw(g); } 
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} 
public boolean isHitWall() 
{ 
Wall w= null; 
for(int i= 0;i< tc. wallList. size();i++) 
{ 
w= tc. wallList. get(i); 
if(w.isHits(this)) 
{ 
this. isBomb = true; 


return true; 


} 
return false; 
} 
public boolean isHitTank() 
{ 
Tank tempTk = null; 
for(int i-0;i«tc.tanksList.size();i**) 
{ 
tempTk = tc. tanksList.get(i); 


if(tempTk. isLive&&getRect(). intersects(tempTk. getRect() ) 
&&tempTk. camp!= tk. camp) 


{ 
tempTk. tankHitPoint. cutsHitPoint(shotPower, this); 
this. isBomb = true; 
return true; 
} 
} 
return false; 
} 
public void dead!) 
{ 


if (isLive) 
{ 
this. isLive = false; 
if(isBomb) 
( shotBomb = new ShotBomb(sx - 32, sy - 32, this); } 
else 


{ 


tc. shotsList. remove(this) ; 
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} 
public void move( ) 
{ 
if(isLive) 
{ 
sx += lengthX; 
sy += lengthY; 
if (isOutOfWindow() | | isHitWal1() | | isHitTank()) 
{ 
this. dead() ; 


} 
NormalShot extends Shot / 
{ 
static final System[ ] NORSHOT = 
{ 
TLK. getSystem(Shot. . getLoader(). getResource("")), 
TLK. getSystem(Shot. . getLoader(). getResource("") ) 
h 
public NormalShot(Tank tk) 


{ 
super(tk) ; 
this. shotPower = 1; 
this. shotRadius = 6; 
this. shotSpeed = 12; 
this. lengthX = shotSpeed * (sx - ox) /(int)Math. hypot (sx — ox, sy - oy) ; 
this. lengthy = shotSpeed * (sy - oy) /(int)Math. hypot (sx - ox, sy - oy); 
} 
public void draw(Graphics g) 
{ 


if(isLive) 
{ 
if (tk. camp) { g. drawSystem(NORSHOT[0], sx — shotRadius, sy — 
shotRadius, null); } 
else { g. drawSystem(NORSHOT[ 1], sx — shotRadius, sy — shotRadius, 
null); ] 


else 
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if (isBomb&&shotBomb!= null) { shotBomb. draw(g); } 


} 
public boolean isHitWall() 
{ 
Wall w= null; 
for(int i= 0;i< tc. wallList. size();i++) 
{ 
w= tc. wallList. get(i); 
if(w.isHits(this)) 
{ 
this. isBomb = true; 
return true; 


} 
return false; 
} 
public boolean isHitTank( ) 
{ 
Tank tempTk = null; 
for(int i- 0;i«tc.tanksList.size();i**) 
{ 
tempTk = tc. tanksList.get(i); 
if(tempTk. isLive&&getRect(). intersects(tempTk. getRect() ) 
&&tempTk. camp!- tk. camp) 


{ 
tempTk. tankHitPoint. cutsHitPoint(shotPower, this); 
this. isBomb = true; 
return true; 

} 


} 
return false; 
} 
public void dead() 
{ 
if (isLive) 
{ 
this. isLive = false; 
tk. shotsCount -- ; 
if (isBomb) 
{ shotBomb = new ShotBomb(sx — 32, sy - 32, this); } 
else 


{ 
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tc. shotsList. remove(this); 


} 
} 
} 
public void move() 
H 


if(isLive) 
( 
sx += lengthX; 
sy += lengthY; 
if(isOutOfWindow( ) | | isHitWall() | | isHitTank()) 
{ 
this. dead(); 


} 
SpecialShot extends Shot 


{ 
int hitCount; 
static final System SPESHOT = 
TLK. getSystem(Shot. . getLoader( ) . getResource("System/Shot/SPE. 
png")); 
public SpecialShot(Tank tk) 
{ 
super(tk) ; 
this. hitCount = 2; 
this. shotPower = 2; 
this. shotRadius = 6; 
this. shotSpeed = 10; 
this. lengthX = shotSpeed * (sx - ox)/( int) Math. hypot (sx — ox, sy - oy) ; 
this. lengthy = shotSpeed * (sy - oy)/( int) Math. hypot (sx — ox, sy - oy) ; 
} 
public boolean isHitTank() 
{ 
Tank tempTk = null; 
for(int i= 0;i«tc.tanksList.size();i**) 
{ 
tempTk = tc. tanksList. get (i); 
if (getRect(). intersects(tempTk. getRect() ) &tempTk. camp!= tk. 
camp) 


if(tempTk. isLive) 


x 183 > 


tempTk. tankHitPoint. cutsHitPoint(shotPower, this) ; 
this. hitCount —— ; 


if(0 == hitCount) { this. isBomb = true; return true; } 


} 
} 
return false; 
} 
public void dead( ) 
{ 
if (isLive) 
{ 
this. isLive = false; 
if (isBomb) 
{ shotBomb = new ShotBomb(sx - 32, sy - 32, this); } 
else 
{ 
this. tc. shotsList. remove(this) ; 
} 
} 
} 
void move() 
{ 
if(isLive) 
{ 
sx += lengthx; 
sy += lengthY; 
if(isOutOfWindow()||isHitTank()) 
{ 
this. dead(); 
} 
} 


} 
void draw(Graphics g) 
{ 
if (isLive) 
{ 
g. drawSystem(SPESHOT, sx — shotRadius, sy — shotRadius, null); 
} 
else 


{ 
if (isBomb&&shotBomb!= null) { shotBomb. draw(g); } 
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SuperShot extends Shot 


{ 


int oldx, oldy; 

static final int MOVERANGE = 150; 

static final System SUPERSHOT = TLK. getSystem(Shot. .getLoader( ). 
getResource("System/Shot/SUPER. png") ) ; 

public SuperShot (Tank tk) 


{ 


} 


super(tk) ; 

this. shotPower = 5; 

this. shotRadius = 4; 

this. shotSpeed = 8; 

this. oldx = sx; 

this. oldy = sy; 

this. lengthX = shotSpeed * (sx— ox)/( int) Math. hypot (sx — ox, sy - oy) ; 


this. 


lengthY = shotSpeed * (sy — oy) /( int)Math. hypot (sx — ox, sy - oy) ; 


public void dead() 


{ 


} 


if (isLive) 


{ 


this. isLive = false; 
if(isBomb) ( shotBomb = new SuperShotBomb(sx, sy, this); } 
else { this. tc. shotsList.remove(this); } 


void move( ) 


{ 


if (isLive) 


{ 


sx += lengthX; 
sy += lengthY; 


if(isOutOfWindow()) ( this.dead(); } 
if((int)Math. hypot(sx — old, sy - oldy)> MOVERANGE) 
{ 

this. isBomb = true; 

this. dead(); 


Mt x 


} 
void draw(Graphics g) 


{ 
if (isLive) 
{ 
g. drawSystem(SUPERSHOT, sx — shotRadius, sy - shotRadius, null); 
} 
else 
{ 
if(isBomb&&shotBomb!- null) ( shotBomb. draw(g); } 
} 
} 


} 
package cn. hnist. multisource; 
import java. awt. * ; 
import java. awt. event. * ; 
import java.util. * ; 
import java. util. List; 
public TankClient extends Frame 
{ 
public static final int WIN WIDTH = 800; 
public static final int WIN HEIGHT = 600; 
boolean repaintFlag = true; 
System bkSystem = null; 
Point mousePoint = new Point(600,500) ; 
UserTank ut = new UserTank(600, 520, Tank. TANK DIR. L, true, this); 
List < Shot > shotsList = Collections. synchronizedList(new ArrayList 
<Shot >()); 
List < Tank > tanksList = Collections. synchronizedList(new ArrayList 
< Tank >()); 
List < Wall > wallList = Collections. synchronizedList (new ArrayList < Wall > 
0); 
List < Item > itemList = Collections. synchronizedList (new ArrayList < Item > 
Q0); 
public static void main(String[] args) 


{ 
TankClient tc = new TankClient(); 
tc. lunchFrame( ) ; 

} 

void lunchFrame( ) 

{ 


tanksList. add(ut) ; 
this. wallList. add (new Wall (200, 160, Wall. WALLTYPE. SEXSYMBOL, 
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this)); 
this. wallList. add(new Wall(200, 200, 2,25, this) ); 
this. wallList. add(new Wall(20,400,2,20,this)); 
this. wallList. add(new Wall(450, 400, 2,20, this) ); 
RobotTank. add(4, false, RobotTank. RTANKTYPE. BOSS, this) ; 
RobotTank. add(3, true, RobotTank. RTANKTYPE. BOSS, this) ; 
this. itemList. add(new HitPointItem(700, 500,3, this) ); 
this. itemList. add(new ShotsItem(700,520,1,this)); 
this. itemList. add(new ShotsItem(700, 550, 0, this) ); 
this. setLocation(200, 100); 
this. setSize(WIN WIDTH, WIN HEIGHT) ; 
this. setTitle("TankWar") ; 
this. setResizable( false); 
this. setBackground(Color. black) ; 
this. addWindowListener(new FrameClose() ) ; 
this. addKeyListener(new TankMoveLis()); 
this. addMouseMotionListener(new MouseMoveLis()); 
this. addMouseListener(new MouseCleckLis()); 
new Thread(new RepaintThread()).start(); 
new Thread(new RobotTanksThread(this)).start(); 
this. setVisible(true); 


FrameClose extends WindowAdapter 


public void windowClosing(WindowEvent e) 
{ 
Frame f = (Frame)e. getWindow(); 
repaintFlag - false; 
f.dispose(); 


} 
public void paint(Graphics g) 
{ 


Wall tcWall = null; 

for(int i=0;i<wallList. size();i++) 

{ 
tcWall = wallList.get(i); 
tcWall.draw(g); 

} 

Tank tcTanks = null; 

for(int i= tanksList. size() -1;i>=0;i--) 

{ 
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tcTanks = tanksList. get( i); 
tcTanks. draw(g) ; 


Item tcItems - null; 
for(int i= 0;i< itemList. size(); i++) 


tcItems = itemList. get(i); 
tcItems.draw(g); 


Shot tcShots - null; 
for(int i=0;i<shotsList. size();i++) 


tcShots = shotsList. get (i); 
tcShots. draw(g) ; 


} 
public void (Graphics g) 
{ 
if (null == bkSystem) { bkSystem = this. createSystem(WIN_ WIDTH, WIN 
HEIGHT) ; } 
g. drawSystem(bkSystem, 0, 0, null); 
Graphics gBkImg = bkSystem. getGraphics(); 
gBkImg. clearRect(0,0,WIN_WIDTH, WIN HEIGHT); 
this. paint(gBkImg) ; 


RepaintThread implements Runnable 


public void run() 
{ 
while(repaintFlag) 
{ 
try 
{ 
repaint(); 
ut.move(); 
Shot tcShots - null; 
for(int i= 0;i< shotsList. size(); i++) 
{ 
tcShots = shotsList. get(i); 
tcShots. move( ) ; 
} 
Thread. sleep(33) ; 
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} catch (InterruptedException e) 
{ 
e. printStackTrace( ) ; 
System. exit( - 1); 


RobotTanksThread implements Runnable 


TankClient tc; 
public RobotTanksThread(TankClient tc) 
{ 
this. tc = tc; 
} 
public void run() 


{ 
Tank tcTanks = null; 


int count = - 1; 
while(repaintFlag) 
{ 
if (0 == count) 
{ 
RobotTank. add(2, false, Robot Tank. RTANKTYPE. SPE, tc) ; 
} 
try 
{ 
count = 0; 
for(int i= 0;i< tanksList. size(); i++) 
{ 


tcTanks = tanksList. get(i); 
if(!tcTanks. camp) { count++; } 
if(!tcTanks. isNPC| |!tcTanks. isLive) { continue; } 
( (RobotTank) tcTanks) . autoAction(); 
} 
Thread. sleep(38) ; 
} catch (InterruptedException e) 
{ 
e. printStackTrace( ) ; 
System. exit( - 1); 


TankMoveLis extends KeyAdapter 


public void keyPressed(KeyEvent e) 
{ 
if (ut. isLive) 
{ 
ut. keyDispose(e. getKeyCode( ) , true) ; 


} 
public void keyReleased(KeyEvent e) 


{ 
if (ut. isLive) 
{ 
ut. keyDispose(e. getKeyCode( ) , false) ; 


) 


else 

{ 
if (e. getKeyCode( ) == KeyEvent. VK F2) 
{ 


ut. rebirth(); 


MouseMoveLis extends MouseMot ionAdapter 


public void mouseMoved(MouseEvent e) 


{ 
if(ut. isLive) 
{ 
mousePoint = e. getPoint() ; 
ut. setTurretDir(mousePoint) ; 
} 
} 


MouseCleckLis extends MouseAdapter 


public void mouseClicked(MouseEvent e) 
{ 
if(ut. isLive) 
{ 
ut. fire(MouseEvent. BUTTON3 == e. getButton()); 
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} 
package com. yigou. frame; 
import javax. JDialog; 
import javax. JOptionPane; 
import javax. JPanel; 
import javax. JLabel; 
import java. awt. HeadlessException; 
import java. awt. Rectangle; 
import javax. JTextField; 
import javax. JButton; 
import java. awt. Font; 
import java. awt. event. ActionEvent; 
import java. awt. event. ActionListener; 
import java. sql. ResultSet; 
import java. sql. SQLException; 
import javax. JComboBox; 
import javax. SystemIcon; 
import com. yigou. util. DBOperation; 
import com. yigou. util. LogRecord; 
public CAdd extends JDialog { 
private static final long serialVersionUID = 1L; 
private JPanel jContentPane - null; 
private JLabel jLabel StuNo - null; 
private JLabel jLabel = null; 
private JButton jButton ok - null; 
private JButton jButton cancel - null; 
private JLabel jLabel mark - null; 
private JTextField jTextField mark - null; 
private JComboBox jComboBox = null; 
private JLabel jLabel3 - null; 
private JComboBox jComboBox stuNo - null; 
public CAdd() ( 
super() ; 
initialize(); 
} 
private void initialize() { 
this.setDefaultCloseOperation(DISPOSE ON CLOSE); 
this.setSize(244, 234); 
this. setModal(true); 
this. setLocationRelativeTo(null); 


Mt x 


this. setTitle(""); 


jLabel3 = new JLabel(); 
jLabel3. setBounds(new Rectangle(11, 171, 219, 26)); 
jLabel3.setText(""); 
jLabel mark - new JLabel(); 
jLabel mark. setBounds(new Rectangle(18, 97, 103, 34)); 
jLabel mark.setText(""); 
jTextField mark - new JTextField(); 
jTextField mark. setBounds(new Rectangle(125, 98, 105, 27)); 
jLabel = new JLabel(); 
jLabel .setBounds(new Rectangle(17, 51, 95, 29)); 
jLabel .setText(""); 
jLabel StuNo - new JLabel(); 
jLabel StuNo. setBounds(new Rectangle(17, 15, 96, 28)); 
jLabel StuNo. setText(""); 
jButton ok - new JButton(); 
jButton ok. setBounds(new Rectangle(18, 138, 77, 26)); 
jButton ok. setText("") ; 
jButton cancel - new JButton(); 
jButton cancel. setBounds(new Rectangle(152, 138, 77, 26)); 
jButton cancel. setText(""); 
jComboBox_ = new JComboBox(); 
DBOperation dbo = new DBOperation(); 
ResultSet rs = dbo.Query("Select .Cno from "); 
try ( 
while (rs.next()) { 
jComboBox .addItem(rs.getString("Cno")); 


} 
} catch (SQLException e) { 
e. printStackTrace(); 
i 
dbo. CloseAll(); 
jComboBox .setBounds(new Rectangle(125, 54, 106, 29)); 
jComboBox stuNo - new JComboBox(); 
DBOperation dbol = new DBOperation(); 
ResultSet rsl - dbol.Query("Select .StuNo from "); 
try { 
while (rsi.next()) { 
jComboBox_stuNo. addItem(rs1.getString("StuNo") ) ; 
i 
} catch (SQLException e) { 
e. printStackTrace( ) ; 
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dbol.CloseAll(); 
jContentPane - new JPanel(); 
jContentPane. setLayout(null); 
jContentPane.add(jLabel StuNo, null); 
jContentPane.add(jLabel , null); 
jContentPane. add(jButton ok, null); 
jContentPane.add(jButton cancel, null); 
jContentPane.add(jLabel mark, null); 
jContentPane.add(jTextField mark, null); 
jContentPane. add(jComboBox_, null); 
jContentPane. add(jLabel3, null); 
jContentPane.add(jComboBox stuNo, null); 
jComboBox stuNo. setBounds(new Rectangle(125, 12, 105, 30)); 
this. setContentPane( jContentPane); 
jButton ok.addActionListener(new btnListener()); 
jButton cancel. addActionListener(new btnListener()); 
} 
public btnListener implements ActionListener{ 
public void actionPerformed(ActionEvent eil 
if (e.getSource() == jButton_ok) { 
int index0 = jComboBox_stuNo. getSelectedIndex( ) ; 
int indexl = jComboBox .getSelectedIndex(); 
String TypeO = (String) jComboBox_stuNo. getItemAt ( index0) ; 
String Typel = (String) jComboBox_. getItemAt( index1) ; 
String sql0 = "select * from C where StuNo = "+ Typed +" 
and Cno = "+ Typel + ""; 
String sqll = "Insert Into C(StuNo, Cno, Mark) Values ('" + 
TypeO + "',"" +Typel + "','" + jTextField mark.getText().trim() + "')"; 
DBOperation dbo = new DBOperation(); 
ResultSet rs = dbo. Query(sql0) ; 
try { 
if (rs. next()){ 
JOptionPane. showMessageDialog(null,"", "", 
JOpt ionPane. ERROR MESSAGE) ; 
} 
else{ 
dbo. TheAll(sql1); 
LogRecord lo = new LogRecord(); 
lo. addLog( Login. storeUserName + " () "+ TypeO * ""); 
JOptionPane. showMessageDialog(null, "", "", 
JOptionPane. INFORMATION MESSAGE); 
} 
} catch (HeadlessException el) { 


} catch (SQLException el) { 
} 

} else if (e.getSource() == jButton_cancel) { 
dispose(); 


} 

package com. yigou. frame; 

import javax. BorderFactory; 

import javax. JDialog; 

import javax. JOptionPane; 

import javax. JPanel; 

import java. awt. Rectangle; 

import java. awt. event. ActionEvent; 

import java. awt. event. ActionListener; 

import javax. JButton; 

import javax. JScrollPane; 

import javax. JTable; 

import javax. event. ListSelectionEvent; 

import javax. event. ListSelectionListener; 

import javax. table. DefaultTableModel; 

import javax. JLabel; 

import javax. JComboBox; 

import javax. JTextField; 

import java. sql. ResultSet; 

import javax. SystemIcon; 

import com. yigou. util. DBOperation; 

import com. yigou. util. LogRecord; 

import java. awt. Dimension; 

public CInformation extends JDialog { 
private static final long serialVersionUID = 1L; 
private JPanel jContentPane = null; 
private JScrollPane jScrollPane = null; 
private JTable jTable = null; 
private JButton jButton Delete = null; 
private JButton jButton Modify - null; 
private JLabel jLabel Row - null; 
public int total; 
private JTextField jTextField = null; 
private JTextField jTextField Mark - null; 
private JTextField jTextField = null; 
private JLabel jLabel - null; 
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private JLabel jLabell 
private JLabel jLabel2 null; 

private JLabel jLabel3 - null; 

private JComboBox jComboBox - null; 
private JTextField jTextField Query - null; 
private JButton jButton - null; 

public void totalRow(int xxx) { 

this.total - xxx; 


null; 


} 
public CInformation() { 
super() ; 
initialize(); 
jButton. addActionListener(new btnListener() ) ; 
jButton_Delete. addActionListener(new btnListener()); 
jButton_Modify. addActionListener(new btnListener()); 
jButton. addActionListener(new btnListener()); 
jTable. getSelectionModel() 
.addListSelectionListener(new tableListener()); 
} 
private void initialize() { 
this.setDefaultCloseOperation(DISPOSE ON CLOSE); 
this.setSize(454, 363); 
this. setContentPane(getJContentPane()); 
this. setTitle(""); 
this. setLocationRelativeTo(null); 
Search(); 
this. setModal(true); 
this. setLocationRelativeTo(null); 
} 
private JPanel getJContentPane() { 
if (jContentPane == null) { 
jLabel3 = new JLabel(); 
jLabel3. setBounds(new Rectangle(22, 22, 81, 24)); 
jLabel3.setText(""); 
jLabel2 = new JLabel(); 
jLabel2.setBounds(new Rectangle(297, 266, 72, 25)); 
jLabel2. setText("") ; 
jLabell = new JLabel(); 
jLabell.setBounds(new Rectangle(165, 266, 65, 25)); 
jLabell.setText(""); 
jLabel = new JLabel(); 
jLabel. setBounds(new Rectangle(20, 266, 68, 25)); 
jLabel. setText(""); 


jContentPane = new JPanel(); 
jContentPane. setLayout (null) ; 
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jContentPane. setBorder(BorderFactory. createTitledBorder("")); 


jContentPane. add(getJScrollPanel(), null); 
jContentPane. add(getJButton Delete(), null); 
jContentPane. add(getJButton Modify(), null); 
jContentPane.add(getJLabel Row(), null); 
jContentPane. add(getJTextField (), null); 


jContentPane. add(getJTextField Mark(), null); 


jContentPane. add(getJTextField_(), null); 
jContentPane. add(jLabel, null); 
jContentPane.add(jLabell, null); 
jContentPane. add(jLabel2, null); 
jContentPane. add(jLabel3, null); 
jContentPane. add(getJComboBox(), null); 


jContentPane. add(getJTextField Query(), null); 


jContentPane. add(getJButton(), null); 
) 
return jContentPane; 
} 
private JScrollPane getJScrollPanel() { 
if (jScrollPane == null) { 
jScrollPane = new JScrollPane(); 


jScrollPane. setBounds(new Rectangle(20, 60, 410, 200)); 


jScrollPane. setViewportView(getJTable()); 
} 
return jScrollPane; 
} 
private JTable getJTable() { 
if (jTable == null) { 
jTable = new JTable(); 
} 
return jTable; 
} 
public void Search() { 
try { 
DBOperation dbo = new DBOperation(); 


DefaultTableModel model = new DefaultTableModel( ) ; 


int i = dbo. getTotalRow("select * from C"); 
model. setRowCount( i); 

model. addColumn("") ; 

model. addColumn("") ; 

model. addColumn("") ; 


/ 
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int a; 
ResultSet rs = dbo.Query("select * from C order by StuNo"); 
for (a = 0; rs.next(); at+) { 
model. setValueAt(rs. getString("StuNo"), a, 0); 
model. setValueAt(rs.getString("Cno"), a, 1); 
model. setValueAt(rs. getString("Mark"), a, 2); 
} 
totalRow(a) ; 
jLabel Row.setText("" + total + ""); 
jLabel Row.repaint(); 
jTable. setModel (model); 
dbo. CloseAll(); 
}catch (Exception e) { 
} 
} 
private JButton getJButton_Delete() { 
if (jButton Delete == null) { 
jButton_Delete = new JButton(); 
jButton Delete. setText("") ; 
jButton_Delete. setBounds(new Rectangle(20, 297, 77, 26)); 
} 
return jButton_Delete; 
} 
private JButton getJButton_Modify() { 
if (jButton_Modify == null) { 
jButton_Modify = new JButton(); 
jButton_Modify. setText(" "); 
jButton_Modify. setBounds(new Rectangle(124, 297, 77, 26)); 
} 
return jButton_Modify; 
} 
private JLabel getJLabel_Row() { 
if (jLabel_Row null) { 
jLabel_Row = new JLabel(); 
jLabel_Row. setBounds(new Rectangle(315, 297, 114, 26)); 


} 
return jLabel_Row; 
} 
private JTextField getJTextField () { 


if (jTextField_ == null) { 
jTextField_ = new JTextField(); 
jTextField_. setEditable( false); 
jTextField_. setBounds(new Rectangle(98, 265, 62, 25)); 
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} 
return jTextField_; 
} 
private JTextField getJTextField Mark() { 
if (jTextField Mark == null) { 
jTextField Mark - new JTextField(); 
jTextField Mark. setBounds(new Rectangle(373, 266, 57, 25)); 
} 
return jTextField Mark; 
} 
public btnListener implements ActionListener { 
public void actionPerformed(ActionEvent e) { 
if(e.getSource() == jButton_Delete) { 
if (jTable. getSelectedRow() != -1) { 
String str = jTable. getValueAt(jTable. getSelectedRow(), 0) 
. toString(); 
String strl = jTable. getValueAt(jTable. getSelectedRow 
Q, 1) 
. toString(); 
String sql = """; 
DBOperation dbo = new DBOperation(); 
dbo. TheAll(sql); 
LogRecord lo = new LogRecord() ; 
lo. addLog( Login. storeUserName) ; 
try { 
DefaultTableModel model = new DefaultTableModel ( ) ; 
int i = dbo. getTotalRow("select * from C"); 
model. setRowCount(i - 1); 
model. addColumn("") ; 
model. addColumn("") ; 
model. addColumn("") ; 
ResultSet rs = dbo 
-Query(""); 
int a; 
for (a = 0; rs.next(); at+) { 
model. setValueAt(rs. getString("StuNo"), a, 0); 
model. setValueAt(rs.getString("Cno"), a, 1); 
model. setValueAt(rs.getString("Mark"), a, 2); 
i 
totalRow(a) ; 
jLabel_Row. setText(""+ total + ""); 
jTable. setModel (model); 
} catch (Exception ex) { 


/ 
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} 
} else { 


JOptionPane. showMessageDialog(null, ""); 


i 


Jelse if(e.getSource() == jButton_Modify) { 
if (jTable. getSelectedRow() != —1) { 


String str = jTable. getValueAt(jTable. getSelectedRow 


.toString(); 
String strl = jTable. getValueAt(jTable. getSelectedRow 


.toString(); 

String sql = "C set Mark = '" + jTextField Mark. getText 
() *"'where StuNo=" + str + "and Cno="+strl+""; 

DBOperation dbo = new DBOperation(); 


dbo. 


TheAll(sql); 


LogRecord lo - new LogRecord(); 
lo.addLog(Login.storeUserName + ""+str+""); 


try 


{ 

DefaultTableModel model = new DefaultTableModel ( ) ; 

int i = dbo. getTotalRow("select * from C"); 

model. setRowCount( i); 

model. addColumn("") ; 

model. addColumn("") ; 

model. addColumn("") ; 

ResultSet rsl = dbo. Query(""); 

int a; 

for (a = 0; rsl.next(); at+) { 
model. setValueAt(rsl.getString("StuNo"), a, 0); 
model. setValueAt(rsl.getString("Cno"), a, 1); 
model. setValueAt(rsl.getString("Mark"), a, 2); 

i 

totalRow(a); 

jLabel Row.setText("" * total * ""); 

jTable. setModel(model); 

JOptionPane. showMessageDialog(null, "" + str * "" + 


} catch (Exception et) {} 


} else ( 


JOptionPane. showMessageDialog(null, ""); 


}else if(e.getSource() == jButton) { 
LogRecord lo = new LogRecord() ; 
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lo. addLog(Login. storeUserName + ""); 
try { 
DefaultTableModel model = new DefaultTableModel(); 
int index = getJComboBox( ).getSelectedIndex( ) ; 
String sql = null; 
if (index 0){sql="select * from C where StuNo = "+ 
jTextField Query.getText().trim() + "";] 
else if(index-- l)(sql- "select * from C where Cno = 
" + jTextField Query.getText().trim() +"";} 
else if(index-- 2)(sql- "select * from C where Mark = 
"+ jTextField Query. getText().trim() +"";} 
DBOperation dbo = new DBOperation(); 
int rows = dbo. getTotalRow( sql); 
model. setRowCount ( rows) ; 
model. addColumn("") ; 
model. addColumn("") ; 
model. addColumn("") ; 
int a; 
ResultSet rs = dbo. Query(sql) ; 
for (a = 0; rs.next(); a++) { 
model. setValueAt(rs. getString(""), a, 0); 
model. setValueAt(rs. getString(""), a, 1); 
model. setValueAt(rs. getString(""), a, 2); 


i 
totalRow(a); 
jLabel Row.setText(total""); 
jTable. setModel(model); 
dbo. CloseAll(); 
} catch (Exception er) ( 
) 


} 
public tableListener implements ListSelectionListener { 
public void valueChanged(ListSelectionEvent e) { 
if (jTable. getSelectedRow() != -1) { 
int rows = jTable. getSelectedRow() ; 
jTextField .setText(jTable.getValueAt(rows, 0) 
.toString()); 
jTextField .setText(jTable.getValueAt(rows, 1) 
.toString()); 
jTextField Mark. setText (jTable. getValueAt (rows, 2). 
toString()); 
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} 
private JTextField getJTextField () { 
if (jTextField == null) { 
jTextField = new JTextField(); 
jTextField .setEditable(false); 
jTextField .setBounds(new Rectangle(234, 266, 53, 25)); 


} 
return jTextField ; 
} 
private JComboBox getJComboBox() { 
if (jComboBox == null) { 
jComboBox = new JComboBox( ) ; 
jComboBox. addItem(""); 
ComboBox. addItem("") ; 
jComboBox. addItem("") ; 
jComboBox. setBounds(new Rectangle(146, 22, 81, 24)); 
} 
return jComboBox; 
} 
private JTextField getJTextField_Query() { 
if (jTextField Query == null) { 
jTextField Query = new JTextField(); 
jTextField Query. setBounds(new Rectangle(255, 22, 81, 24)); 
} 
return jTextField_Query; 
} 
private JButton getJButton() { 
if (jButton == null) { 
jButton = new JButton() ; 
jButton. setBounds(new Rectangle(352, 22, 77, 26)); 
jButton. setText("") ; 
} 


return jButton; 


} 

package com. yigou. frame; 
import java. awt. BorderLayout; 
import java. awt. Color; 

import java. awt. Point; 

import java. awt. Rectangle; 
import java. awt. Toolkit; 
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import javax. BorderFactory; 

import javax. SystemIcon; 

import javax. JComboBox; 

import javax. JDialog; 

import javax. JFormattedTextField; 

import javax. JFrame; 

import javax. JOptionPane; 

import javax. JPanel; 

import javax. JTextArea; 

import javax. JTextField; 

import javax. JToolBar; 

import java. awt. event. ActionEvent; 

import java. awt. event. ActionListener; 

import java. sql. ResultSet; 

import java. sql. SQLException; 

import java. text. DateFormat; 

import java. text. SimpleDateFormat; 

import java. util. Date; 

import javax. JButton; 

import javax. JScrollPane; 

import javax. JTable; 

import javax. table. DefaultTableModel; 

import javax. table. TableRowSorter; 

import javax. JLabel; 

import com. yigou. util. DBOperation; 

import com. yigou. util. DateChooser; 

import com. yigou. util. LogRecord; 

import java.awt. event. KeyEvent; 

import java. awt. Dimension; 

public Manage extends JDialog ( 
private static final long serialVersionUID - 1L; 
private JPanel jContentPane - null; 
private JToolBar jJToolBarBar - null; 
private JButton jButton Add - null; 
private JButton jButton Query - null; 
private JButton jButton Delete - null; 
private JScrollPane jScrollPane - null; 
private JTable jTable - null; 
private JButton jButton ShowAll - null; 
private JLabel jLabel Row - null; 
DefaultTableModel model - new DefaultTableModel(); 
public Manage() ( 

super(); 


/ 
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initialize(); 
} 
private void initialize() { 
this.setDefaultCloseOperation(DISPOSE ON CLOSE); 
this.setSize(687, 258); 
this. setTitle(""); 
this. setLocationRelativeTo(null); 
jButton Add - new JButton(); 
jButton Add.setText(""); 
jButton Query = new JButton(); 
jButton Query.setText(""); 
jButton Delete - new JButton(); 
jButton Delete. setText(""); 
jButton ShowAll - new JButton(); 
jButton ShowAll.setText(""); 
jTable - new JTable(); 
jScrollPane = new JScrollPane(); 
jScrollPane. setViewportView( jTable); 
jLabel Row = new JLabel(); 
jLabel Row.setSize(20, 20); 
jJToolBarBar = new JToolBar(); 
jJToolBarBar.add(jButton Add); 
jJToolBarBar.add(jButton Query); 
jyToolBarBar.add(jButton Delete); 
jJToolBarBar. add(jButton_ShowA11) ; 
jdToolBarBar. add(jLabel_Row) ; 
jContentPane = new JPanel(); 
jContentPane. setLayout (new BorderLayout()); 
jContentPane. setBorder(BorderFactory. createTitledBorder("")); 
jContentPane. add( jScrollPane, BorderLayout. CENTER); 
jContentPane. add(jJToolBarBar, BorderLayout. NORTH); 
this. setContentPane( jContentPane); 
showAll(); 
btnListener btn - new btnListener(); 
jButton Add. addActionListener(btn) ; 
jButton Query. addActionListener(btn); 
jButton Delete. addActionListener(btn); 
jButton ShowAll.addActionListener(btn); 


public void showAll() ( 
try { 
DBOperation dbo = new DBOperation(); 
model = new DefaultTableModel(); 
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int i = dbo.getTotalRow("select * from"); 

model. setRowCount (i) ; 

model. addColumn("") ; 

model. addColumn("") ; 

model. addColumn("") ; 

model. addColumn("") ; 

model. addColumn("") ; 

model. addColumn("") ; 

int counter; 

ResultSet rs dbo. Query(""); 

for (counter = 0; rs.next(); counter-*) { 
model. setValueAt (rs. getString(""), counter, 0); 
model. setValueAt(rs. getString(""), counter, 1); 
model. setValueAt(rs.getString(""), counter, 2); 
model. setValueAt(rs.getString(""), counter, 3); 
model. setValueAt(rs.getString(""), counter, 4); 
model. setValueAt(rs.getString(""), counter, 5); 


} 
jLabel_Row. setText("" + counter 
+"); 
jTable. setModel (model) ; 
jTable. setAutoCreateRowSorter( true); 
dbo. CloseA11(); 
} catch (Exception e) { 
} 
} 
public btnListener implements ActionListener { 
public void actionPerformed(ActionEvent e) { 
if (e.getSource() == jButton_Add) { 
_Add sa = new _Add(); 
sa. setVisible(true) ; 


} 


if (e.getSource() == jButton Delete) { 
if (jTable.getSelectedRow() != -1)( 
String str = able. getValueAt (JTable. getSelectedRow(), 0) 
. toString(); 
String sql = "delete from where Cno=" + str 
+", 


; 
DBOperation dbo = new DBOperation(); 

dbo. TheAll(sql); 

LogRecord lo - new LogRecord(); 

lo. addLog(Login. storeUserName + ""+str+""); 
try { 
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model 

int i 

model. 
model. 
model. 
model. 
model. 
model. 
model. 


= new DefaultTableModel(); 

= dbo.getTotalRow("select * from"); 
setRowCount(i — 1); 

addColumn("") ; 

addColumn("") ; 

addColumn(""); 

addColumn(""); 

addColumn(""); 

addColumn("") ; 


ResultSet rs = dbo 


-Query(""); 


int counter; 

for (counter = 0; rs.next(); counter++) { 
model. setValueAt(rs. getString(""), counter, 
model. setValueAt(rs. getString(""), counter, 
model. setValueAt(rs. getString(""), counter, 
model. setValueAt(rs. getString(""), counter, 
model. setValueAt(rs. getString(""), counter, 
model. setValueAt(rs. getString(""), counter, 


) 


jLabel Row 


.setText("" 
* counter * ""); 


jTable. setModel (model); 
} catch (Exception ex) { 


} 


} else { 


JOptionPane. showMessageDialog(null, ""); 


) 


if (e.getSource() -- jButton Query) ( 


String input = 


JOptionPane 


. showInputDialog(""); 


LogRecord lo - 


new LogRecord( ) ; 


lo.addLog(Login.storeUserName + ""); 


try ( 


DBOperation dbo = new DBOperation(); 
model - new DefaultTableModel(); 
int i = dbo 
.getTotalRow("select * from where Cno- " 


+ input + j; 


model. setRowCount (i) ; 
model. addColumn("") ; 


0); 
1); 
2); 
3); 
4); 
5); 


model. addColumn("") ; 
model. addColumn("") ; 
model. addColumn("") ; 
model. addColumn("") ; 
model. addColumn("") ; 
int counter; 
ResultSet rs = dbo 
.Query("select * from where Cno=" 
+ input + " order by Cno"); 
for (counter = 0; rs.next(); counter++ ) { 
model. setValueAt(rs.getString(""), counter, 0); 
model. setValueAt(rs. getString(""), counter, 1); 
model. setValueAt(rs. getString(""), counter, 2); 
model. setValueAt(rs.getString(""), counter, 3); 
model. setValueAt(rs.getString(""), counter, 4); 
model. setValueAt(rs.getString(""), counter, 5); 
} 
jLabel_Row. setText("" 
+ counter + ""); 
jTable. setModel (model); 
dbo. CloseAll(); 
} catch (Exception er) ( 
} 
} 
if (e.getSource() == jButton ShowAll) { 
LogRecord lo - new LogRecord(); 
lo. addLog(Login. storeUserName + ""); 
showAll(); 


. Add extends JDialog ( 
private static final long serialVersionUID - 1L; 
private JPanel jContentPane - null; 
private JLabel jLabel = null; 
private JLabel jLabell 
private JLabel jLabel2 null; 
private JLabel jLabel date - null; 
private JTextField jTextField - null; 
private JTextField jTextFieldl - null; 
private JFormattedTextField jTextField date - null; 
private JButton jButton - null; 
private JButton jButtonl - null; 


" 


null; 
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private JButton jButton Choose = null; 
private JTextField jTextField2 = null; 


private JTextArea jTextArea = null; 
private JLabel jLabel4 = null; 
private JComboBox jComboBox = null; 
public Add() { 
super() ; 
initialize(); 
} 
private void initialize() { 
this. setSize(451, 261); 
this. setModal (true) ; 
this. setTitle(""); 
this. setLocationRelativeTo(null); 
this. set IconSysten(Toolkit.getDefaultToolkit().getSystem( 
get().getResource(""))); 
jLabel4 = new JLabel(); 
jLabel4. setBounds(new Rectangle(9, 92, 84, 25)); 
jLabel4. setText(""); 
jLabel2 = new JLabel(); 
jLabel2. setBounds(new Rectangle(9, 131, 84, 25)); 
jLabel2.setText(""); 
jLabell = new JLabel(); 
jLabell.setBounds(new Rectangle(9, 52, 84, 25)); 
jLabell.setText(""); 
jLabel = new JLabel(); 
jLabel. setBounds(new Rectangle(9, 12, 84, 25)); 
jLabel.setText(""); 
jTextField - new JTextField(); 
jTextField. setEditable(false); 
jTextField. setBounds(new Rectangle(97, 11, 134, 27)); 
jTextFieldl = new JTextField(); 
jTextFieldl.setBounds(new Rectangle(97, 49, 134, 27)); 
jButton = new JButton(); 
jButton. setBounds(new Rectangle(144, 194, 77, 26)); 
jLabel date - new JLabel(); 
jLabel date. setBounds(new Rectangle(10, 165, 83, 25)); 
jLabel date. setText(""); 
jTextField date - new JFormattedTextField(); 
jTextField date. setBounds(new Rectangle(97, 163, 97, 27)); 
Date date = new Date(); 
String format = DateFormat. getDateInstance(). format 
(date) ; 
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jButton Choose = new JButton(); 
jButton Choose. setBounds(new Rectangle(194, 164, 42, 25)); 
jButton Choose. setText("C"); 
jButton. setText(""); 
jButtonl - new JButton(); 
jButtonl. setBounds(new Rectangle(24, 196, 77, 26)); 
jButtonl.setText(""); 
jTextField2 - new JTextField(); 
jTextField2. setBounds(new Rectangle(97, 129, 135, 27)); 
jTextArea - new JTextArea(); 
jTextArea. setBorder(BorderFactory.createTitledBorder("")); 
jComboBox - new JComboBox(); 
DBOperation dbo = new DBOperation(); 
ResultSet rs = dbo.Query(""); 
try ( 
while (rs.next()) { 
jComboBox. addItem(rs. getString("TeachNo" ) ) ; 
} 
} catch (SQLException e) { 
e. printStackTrace() ; 
} 
dbo. CloseAll(); 
jComboBox. setBounds(new Rectangle(97, 84, 133, 27)); 
jContentPane - new JPanel(); 
this. setContentPane( jContentPane); 
init(); 
btaListener bta - new btaListener(); 
jButton. addActionListener(bta); 
jButtonl.addActionListener(bta); 
jButton Choose. addActionListener(bta); 
} 
private void init() { 
DBOperation dbo = new DBOperation(); 
jTextField. setText (dbo. getMax("", "Cno")) ; 
} 
public btaListener implements ActionListener { 
public void actionPerformed(ActionEvent e) { 
if (e.getSource() == jButton_Choose) { 
DateChooser mc = new DateChooser(jTextField date); 
Point p - jButton Choose. getLocationOnScreen(); 
mc. showDateChooser(p) ; 
jTextField date. requestFocusInWindow(); 


\ 
N 
e 
oo 


向 云 平 台 的 物 联网 多 源 异 构 信 息 融 合 方法 


else if (e.getSource() == jButtonl)( 
int index = jComboBox. getSelectedIndex( ) ; 
String Type = (String) jComboBox. getItemAt( index) ; 


Cdisp, Cdate) Values('" 


String sql = "Insert Into (Cno, Cname, TeachNo, Credit, 


jTextField. getText().trim() 


jTextFieldl.getText().trim() 


mom 
H 


Type 


jTextField2. getText(). trim() 


"iom 
` 


jTextArea. getText(). trim() 


mem 
, 


二 十 十 十 十 十 十 十 二 十 


+ jTextField date.getText().trim() + "')"; 
DBOperation dbo = new DBOperation(); 
dbo. TheAll(sql); 
LogRecord lo = new LogRecord(); 
lo.addLog(Login.storeUserName * "" 

* jTextField.getText().trim() * ""); 
JOptionPane. showMessageDialog(null, ""); 
dbo. CloseAll(); 
showAll(); 
dispose(); 


Jelse if (e.getSource() == jButton)( 


dispose(); 
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